AIToday
大規模言語モデルAIコーディングAI安全性・アラインメントTHE DECODER掲載日時: 2026年11月23日 6:01

模擬職場でAIエージェント、10件に1件も完遂できず

LINEで送る
模擬職場でAIエージェント、10件に1件も完遂できず

3つのポイント

  1. 何が起きたか

    模擬ソフト企業でClaude Opus 5.5とGPT-6 AstraはSWE-benchなどで高スコアに迫りながら、完全に遂行できたタスクは10件に1件未満だった。

  2. なぜ重要か

    ベンチマークは、こうしたエージェントが乱雑な日々の業務を自律的にどれだけ確実に回せるかを過大評価している可能性がある。明確で独立した課題は素早く終えるが、自律的な開発者としては迷走する。

誰に効くかベンチマークスコアでコーディングエージェントを評価するエンジニアリングマネージャーや開発ツールの購入担当者は、実際のチーム環境で任せられる自律作業量を過大評価しているかもしれない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この実験が重要なのは、標準ベンチマークが測らないもの、すなわち継続性を試しているからだ。AnthropicがClaudeは本番コードの80%超を書くと述べていることやSWE-benchの飽和間近といった従来の結果は、孤立した明確な課題では高い能力を発揮するエージェント像を描き出す。

模擬企業の設定は、同僚やプロジェクトボード、不完全な引き継ぎといった乱雑な要素を残したまま、エージェントに長期稼働する開発者として振る舞うよう求める。明確なタスクを素早く終えることと、全タスクの10件に1件も完了できないことの差は、弱点が単一プロンプト向けのコード生成ではなく、日々の業務を通じた作業の追跡にある可能性を示す。この解釈は報告された結果からの推論であり、主張されていることではない。

見出しがClaude Opus 5.5とGPT-6 Astraを挙げるのは、テストされた最強のモデルでさえ及ばなかったからであり、ベンチマーク飽和という背景の中でこの結果が注目に値する所以だ。

よくある質問
エージェントは具体的に何を課されたのか?
模擬ソフト企業の中でデジタル社員として働き、同僚やプロジェクトボード、チャット履歴がある中で、ソフトウェア開発を続けながら未対応チケットをクローズする、乱雑な日々の業務をこなす必要があった。
より単純な作業ではどうだったか?
明確で独立した課題は素早く終えたが、長めのタスクでは自律的な開発者として迷走した。
Claudeのコーディングの役割についてAnthropicは何と言っているか?
Anthropicは、Claudeが同社の本番コードの80%超を書いていると述べている。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へSpaceX、2027年までにAI計算能力を月1ギガワット超へ