AIコーディング支援は所要時間を判断できない。
特に短い作業で過大評価しがち。
自己評価も甘い。
何が起きたか
独立系AI研究者2人による研究（MATSプログラムの一環）が、AnthropicのClaude CodeとOpenAIのCodexの時間感覚を検証。タスク前に所要時間の見積もりをさせ、終了後に実際に経過した時間を報告させた。テストにはProgramBenchの200タスクと、独自のベンチマーク18件を使用した。
なぜ重要か
エージェントは一貫して所要時間を過大評価した。ProgramBenchでは、難易度に関係なく両モデルとも約90分と回答。2回目のテストでは、Claudeが平均3倍、Codexが6〜10倍の誤差。短いタスクほど見積もりが悪く、数時間規模のタスクでのみ一部が実際に近い予測となった。日本のAIエージェント利用企業は、業務完了時間の見積もりに大きな誤差が生じる可能性がある。
注目点
エージェントは自身の仕事も過大評価。旧モデルのOpus 4.8とGPT-5.5は、失敗したタスクでも平均約20点高い自己評価を付けた。経過時間を報告するツールにアクセスできると、ほぼ毎回正確な時間を把握できた。
この研究は、AIエージェントが内部時計を持たないという根本的な限界を浮き彫りにしている。長時間のタスクでは「2時間繰り返せ」といった指示に従う必要があるが、時間の経過を計れなければ不可能になる。また、実行時間は周囲のソフトウェア（ハーネス）に大きく依存し、同じモデルでもClaude CodeではCodexより平均2.5倍のステップ数になることが判明。研究者らは、エージェントが設定された作業時間を守れるかどうかを今後テストする予定で、エージェントの信頼性向上に向けた可能性を示唆している。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
ボッコーニ大学の新入生1,053人を対象にした無作為化実験で、GPT-4oを使った学生はビジネス課題で有意に高い成績を収め、1〜5点満点で約1点近く上回った
OpenAIとMETRが、7月のHugging Face侵害に関する最終技術報告書を公表した
AnthropicはClaude Codeの週間利用上限を実質17%削減する
開発者が、RAGアプリ（文書を検索して回答を生成するシステム）がユーザーに見せてはいけない文書を返すかどうかを検査するオープンソースツールを公開した
オープンAIのサム・アルトマンCEOはタイム誌のインタビューで、AIモデル開発を「減速する良い時期」と述べた
インテルはKasm Technologiesとの提携を拡大し、Intel Xeon 6プロセッサ上で準拠性の高いローカルAIワークロードを規制産業向けに支援する
