AIToday
大規模言語モデルAIコーディングZenn AI/ML掲載日時: 2026年11月21日 16:00

自己確認スキルでClaude Codeが292/294

LINEで送る
自己確認スキルでClaude Codeが292/294

3つのポイント

  1. 何が起きたか

    noticing-anomalies SkillをClaude Codeに導入するとAIが自己確認し、架空の10課題でスコアが243/294から292/294に上がった。

  2. なぜ重要か

    通貨列のずれや店舗データの税抜き化など、エラーにならない小さな異変こそAIアシスタントが失敗する箇所であり、このSkillはテストでその隙間を埋めた。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

このSkillは、AIアシスタントが小さく静かなデータ誤りを見落としがちだという気づきから作られた。タスクは成功と報告されるのに出力が誤っているケースである。GoogleのSRE本やSunらによる2024年の論文は、LLMがツールの結果を疑わずに信頼する傾向を示している。著者のテストでは、このSkillは微妙な異変を含む課題で最も大きな差を生み、そうした3課題で30点満点中12〜24点から満点の30点に跳ね上がった一方、明らかな異変を含む課題ではほとんど変化がなかった。著者は限界も指摘する。検証したのはSonnetを用いたClaude Codeのみで、課題は架空かつ小規模であり、課題と評価基準の両方を著者自身が設計している。このSkillは時間とコストを増やすが、反復的なデータ作業をAIに頼るチームにとっては、静かな誤りが意思決定者に届くリスクを減らせる可能性がある。

よくある質問
このSkillは処理を遅くしたりコストを増やしたりするか?
はい。ある課題では平均実行時間が27秒・0.047ドルから43秒・0.103ドルになった。AIが異変の発見と修正に余分な時間を費やすためだ。
このSkillはどんな誤りを検出するか?
店舗データが税抜き金額に切り替わる、通貨列が追加されて値がずれる、命名ミスでテストファイルがスキップされる、といった小さな静かな異変を検出する。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

SolidWizard、AI・半導体受注が2027年まで見通し

SolidWizard Technologyは、AI・半導体・高性能コンピューティングへの投資拡大が先端ソフト需要を押し上げ、AI・半導体顧客からの受注見通しが2027年まで強いと説明した

DIGITIMES Asia7時間前

Anthropic研究員、Claudeでリーマン予想を証明したと主張

AnthropicのLevent Alpoge氏は金曜日、同日公開した4ページのノートの中で、チャットボットClaudeを使ってリーマン予想を証明したと述べた

Japan Times Tech7時間前

Bytedance、3段階訓練のAIエージェント公開

Bytedanceと米大学のチームがAIエージェントAxion 1.0を公開した

THE DECODER7時間前

企業はAIをどう選ぶようになった? ChatGPT、Copilot

AIworkerの分析で、新規企業AI導入相談のChatGPTシェアは2025年66%から2026年28%へ低下し、Microsoft CopilotとGeminiが各35%に達した

ITmedia AI+10時間前

AIエージェント動画の3路線、3DはBlenderが本命

Seedanceなど動画生成モデル、Three.jsなどフロントエンドコード、Python APIやMCP経由のBlender×AIエージェントの3路線に分類し、それぞれの強みと弱点を示した

Zenn AI/ML10時間前

AIのテスト自己採点をやめルールを書く

Zennの記事で開発者がTLA+系言語Quintで「販売チケット数は初期在庫を超えない」ルールを記述しチケット販売設計をモデル検査、Quintが12msでオーバーセルの違反を検出した

Zenn AI/ML10時間前
次の記事へnferenceとCedars-Sinaiが連合AI基盤構築