AIToday
大規模言語モデルAIコーディングAI安全性・アラインメントZenn AI/ML掲載日時: 2026年11月14日 16:00

長文プロンプト規約は5件中4件しか守られず

LINEで送る
長文プロンプト規約は5件中4件しか守られず

3つのポイント

  1. 何が起きたか

    AI LaboがVM215上でgemini-3.8-flashに同一タスクを解かせたところ、Mode Aは5大アーキテクチャ規約のうち4件のみ遵守し、Hook方式のMode Bは5件全てを遵守した。

  2. なぜ重要か

    決定論的な強制がなければ、規約の抜けは開発者の目に触れないまま残るとみられる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

背景にあるのは、CLAUDE.mdや.cursorrulesに規約を長々と書き連ねる手法の限界だ。行数上限やレイヤー間の依存禁止といった非機能要件は、機能実装に注意力を奪われたLLMが確率的に踏み抜き、スモークテストが通ればそのまま提出される。本検証のMode Aでも、import禁止や型アノテーションといった局所的な構文ルールは守られた一方、tariff.pyだけが9行超過した。LLMは出力中のコードの行数を正確に数える自己認識が弱いことも、この抜けの一因とされる。

対してMode Bは、セッション開始時に検出済みの違反箇所をプロンプトへ構造化注入し、提出時に違反があれば機械的に差し戻す二段構えを採る。この結果、エージェントはTurn 1から行数予算を意識し、intake.pyを35行、tariff.pyを60行に凝縮。追加のリトライなしで機能20/20と規約5/5を同時に満たした。著者は決定論的に判定できるルールはすべて数ミリ秒で動くLinterやPre-Commit Hookとして実装すべきだと結論づけている。

よくある質問
機能テストの結果に違いはありましたか?
両方式とも20/20で合格しており差はない。違いが出たのはアーキテクチャ規約の遵守数で、Mode Aは4/5、Mode Bは5/5だった。
Mode Bはなぜコストも削減できたのですか?
初期に規約違反の診断情報を注入したことで、エージェントが最初から行数予算を意識して簡潔なコードを書き、出力トークンが10.8%減ったためである。
LLM呼び出し回数は増えましたか?
両方式とも1回で、差はない。Mode Bは差し戻し(hook_rejections)も0回だった。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Claudeが求人票145件の人物像を分析、最多はデータ分析経験

著者は145件の求人票の「求める人物像」をClaudeに投入しラベルを抽出・埋め込みベクトル化

NEWQiita 機械学習1時間前

FAA、SMART導入3日後に米国内の出発便を全面停止

FAAは金曜日、米国内の出発便を全面停止した

NEWAI Weekly1時間前

夏のランサムウェア攻撃が3000件近く、春から最大40%増

リークサイトの重複排除データによると、夏のランサムウェア攻撃は3000件近くで、推計では春から20〜40%増加した

NEWWIRED AI1時間前

Jamie Dimon、JPモルガン、外部AIエージェントを遮断へ

ジェイミー・ダイモン氏は、JPモルガン・チェースが外部のAIエージェントを「どんなものでも」社内に入れることは「ない」と述べ、10月の決算説明会で「野良エージェントは困る」と警告した

NEWYahoo Finance AI4時間前

OpenAIがロボティクスチーム解散、汎用モデルで直接制御へ

OpenAIは独立したロボティクスチームを解散し、研究員をMark Chen最高研究責任者率いる本体の研究チームに編入する

NEWTHE DECODER4時間前

Coxon氏、Mythosは当初の一部の計算資源で再学習可能と指摘

OpenAIとAnthropicの元研究者Jacob Coxon氏が、AnthropicのIPO資料の事前学習計算資源需要グラフを引き合いに、Mythosはすでに当初の一部で再学習できると述べた

NEWTHE DECODER4時間前
次の記事へゲーム開発者の40%が生成AI使用、55%は有害視