AIToday
大規模言語モデルAIコーディングAI安全性・アラインメントZenn AI/ML掲載日時: 2026年11月7日 6:00

define-doneの効果を検出率で指標化

LINEで送る
define-doneの効果を検出率で指標化

3つのポイント

  1. 何が起きたか

    開発者YasuakiOmokawa氏はClaude Codeのスキルdefine-doneの効果を測るため、要件に反する変種と自動変異をテストが検出できるかを指標化した。

  2. なぜ重要か

    define-doneの価値はテストを強くすることではなく、要件に無いことを決めつけないことと、計画の穴を見せて止まることにあると示された。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

今回の検証は、スキルの効果を「印象」から「数字」に移した点に意義がある。従来は気づいたことをLLMに指示して直し、直ったかどうかは次の使用時の印象で判断していた。それに対し、受け入れテストを物差しにすることで、改善の基準がgrader単位の合否に一本化された。

また、計測器自体の誤りが5回あったことも報告されており、数字が下がったときはまず計測器を疑うという手順が実際の開発現場で有効であることを示している。スキルを足すだけでなく、価値のない段を消す判断にも数字が使われた点は、AIエージェントの運用コストを見直す動きにつながる可能性がある。

よくある質問
define-doneとは何ですか?
Claude Codeのスキルの一つで、受け入れ基準(AC)を受け入れテストとして書くことで、計画のバグをGateで止める仕組みを持つ。
どんな指標で効果を測りましたか?
要件適合度とバグ検出率の2つで、テストが要求に反する変種や自動変異を検出できるかを数えた。
define-doneを使わない場合とどう違いますか?
実バグ題材27では、使わない場合の要件適合度が2/6や4/6だったのに対し、使うと4/6で、計画のバグでGate停止する差が出た。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

企業はAIをどう選ぶようになった? ChatGPT、Copilot

AIworkerの分析で、新規企業AI導入相談のChatGPTシェアは2025年66%から2026年28%へ低下し、Microsoft CopilotとGeminiが各35%に達した

NEWITmedia AI+1時間前

リーマン予想の証明2本が同日公開、AI形式化と12年がかり

Levent Alpögeが4ページのremark.pdfを公開し、Claudeと共にリーマン予想の証明を見つけたと主張

NEWZenn AI/ML1時間前

Claude新モデル、ツール呼び出し強制指定を400エラーで拒否

Opus 5.5(2026年9月22日)、Sonnet 5.5(9月28日)、Fable 5.1(9月1日)はtool_choiceのanyとtoolを400エラーで拒否し、Anthropicはtool_choice:…

NEWZenn AI/ML1時間前

ゴムマリ、海外問い合わせ一次対応AIを11月21日提供開始

Gomumariは2026年11月21日から、多言語の問い合わせを読み取り、根拠付きで過去事例を検索し、一次返信の下書きを作成するAIエージェントの提供を始める

NEWASCII.jp4時間前

ゴムマリ、台帳と帳票の突合AIエージェントを11月21日から販売

Gomumariは2026年11月21日、PDFやExcelの台帳と注文書・納品書・請求書を読み不一致行を理由付きで返すデータ突合AIエージェントを販売する

NEWASCII.jp4時間前

ゴムマリ、営業データ分析AIエージェントを11月21日提供開始

Gomumariは2026年11月21日、営業データ分析AIエージェントの提供を開始する

NEWASCII.jp4時間前
次の記事へROIは運用費込みの総コストで算出