Anthropicの「Claude Fable 5」が7月1日に提供を再開しましたが、脆弱性対応で安全機能が強化された結果、性能評価が企業によって異なります。
BridgeMind AIはコーディング関連のスコアが大幅に低下したと報告する一方、ユーザー評価サイト「Arena」はほぼ変わらないと報告しており、安全機能強化の実際の影響について判断が分かれています。
何が起きたか
Anthropicの「Claude Fable 5」が7月1日に提供を再開しました。脆弱性対応のため安全機能の分類器がアップデートされ、有害な指示を自動検知してより性能の低いモデルに処理を切り替える仕組みが強化されています。
なぜ重要か
開発企業BridgeMind AIの調査では、デバッグ性能が86.2から25.9に、リファクタリングが73.6から38.4に低下するなど、コーディング関連のベンチマークスコアが大きく落ちています。一方、ユーザー評価サイト「Arena」の調査では提供停止前後でほぼ変わっていないとの報告もあり、評価が分かれています。
注目点
BridgeMind AIはモデルそのものの性能は落ちておらず、安全機能の強化に伴い日常的なリクエストの誤検出が増えたことが原因と分析しています。Arena.aiは今回のスコアを暫定値としており、より詳細な分析結果を公開する予定です。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
CBTS Technology Solutions LLCがForge Agentsを発表
アルファベットのAI概要がGoogle検索を通じて月間25億人超に到達し、広告事業は第2四半期に820億ドルの収益を計上した
Visual Studio Code 1.135に、メインのコーディングアシスタントとは別のAIエージェントからセカンドオピニオンを求めることができる実験的機能「ラバーダック」が追加された
Amazon Web Services（AWS）は、フルマネージド型データウェアハウスサービス「Amazon Redshift」を、AIエージェントがAWSサービスを操作するためのスキル、ツール、ガードレールを提供する「…
Sonosは、生成AI機能を備えたアプリのアップデート、新型サウンドバー「Beam Ultra」、そして2代目となるオーバーイヤーヘッドホン「Ace Ultra」を発表した
NvidiaがAIアップスケーリング技術「DLSS 5」を正式公開した
