
何が起きたか
開発者YasuakiOmokawa氏はClaude Codeのスキルdefine-doneの効果を測るため、要件に反する変種と自動変異をテストが検出できるかを指標化した。
なぜ重要か
define-doneの価値はテストを強くすることではなく、要件に無いことを決めつけないことと、計画の穴を見せて止まることにあると示された。
こういう要約が、毎朝あなたのメールに届きます。
今回の検証は、スキルの効果を「印象」から「数字」に移した点に意義がある。従来は気づいたことをLLMに指示して直し、直ったかどうかは次の使用時の印象で判断していた。それに対し、受け入れテストを物差しにすることで、改善の基準がgrader単位の合否に一本化された。
また、計測器自体の誤りが5回あったことも報告されており、数字が下がったときはまず計測器を疑うという手順が実際の開発現場で有効であることを示している。スキルを足すだけでなく、価値のない段を消す判断にも数字が使われた点は、AIエージェントの運用コストを見直す動きにつながる可能性がある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
AIworkerの分析で、新規企業AI導入相談のChatGPTシェアは2025年66%から2026年28%へ低下し、Microsoft CopilotとGeminiが各35%に達した

Levent Alpögeが4ページのremark.pdfを公開し、Claudeと共にリーマン予想の証明を見つけたと主張

Opus 5.5(2026年9月22日)、Sonnet 5.5(9月28日)、Fable 5.1(9月1日)はtool_choiceのanyとtoolを400エラーで拒否し、Anthropicはtool_choice:…

Gomumariは2026年11月21日から、多言語の問い合わせを読み取り、根拠付きで過去事例を検索し、一次返信の下書きを作成するAIエージェントの提供を始める

Gomumariは2026年11月21日、PDFやExcelの台帳と注文書・納品書・請求書を読み不一致行を理由付きで返すデータ突合AIエージェントを販売する

Gomumariは2026年11月21日、営業データ分析AIエージェントの提供を開始する
