AIToday
AIコーディングAI安全性・アラインメントZenn AI/ML掲載日時: 2026年11月21日 16:00

AIのテスト自己採点をやめルールを書く

LINEで送る
AIのテスト自己採点をやめルールを書く

3つのポイント

  1. 何が起きたか

    Zennの記事で開発者がTLA+系言語Quintで「販売チケット数は初期在庫を超えない」ルールを記述しチケット販売設計をモデル検査、Quintが12msでオーバーセルの違反を検出した。

  2. なぜ重要か

    AIがコードとテストの両方を書くのは自己採点であり、テストは同じモデルが想像したシナリオしかカバーしない。ルール策定は人間が担い、ケース生成は機械に任せるという分業を著者は提唱する。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

製品発表ではなく実務者の実践記であり、構成は1つの実例に集約されている。チケットサービスをユーザー3人・チケット2枚でQuintに仕様化し、不変条件noOversellが「販売数は初期在庫を超えない」と述べる。AIが書いた実装は自作の3つのテストを通った後、ランダム生成された1,000件のトレースのうち578件で失敗した。著者はこの差を、同じモデルがコードと検証シナリオの両方を作ったことに起因すると見る。

著者はこれを長年の「テストオラクル問題」に位置づける。テストには入力と、結果が正しいか判断する手段の両方が必要で、難しいのは判断の側だ。弱い代替手段の例は具体的で、マルチエージェントによる敵対的レビューが47件の些末な指摘を返しながら本当のバグを見逃したことを、同じ塾の同級生が試験問題を書くようなものだと例える。チューリング賞受賞者のLeslie Lamportが生み出したTLA+、およびAWSがS3やDynamoDBの設計で使ったとされる実績が権威づけとなり、Quintは同じTLC検査器を内部に持ちながらTypeScript風の親しみやすい構文を備えたものとして提示される。

結論は意図的に範囲を限定している。テストケースは消えないと著者は言う。単純な画面では高速で読める「生きたドキュメント」として残る。ルールは、並行性や金銭、在庫、権限のせいで人間が網羅的に列挙するのが現実的でない箇所のためのものだ。書き始めの方針としては、割り込み系のバグが怖いと感じる場所に限って書くことを勧めている。

よくある質問
AIが書いたテストは具体的に何を見逃したのか?
3つのテストはいずれも、ユーザーが1人ずつ順番に購入するケースをカバーしていた。あるユーザーが最後の1枚を買った直後に別のユーザーが購入を確定する競合状態は誰もカバーしておらず、著者自身も思いつかなかったかもしれないと認めている。
修正後の保証はどれほど強いのか?
ユーザー3人・チケット2枚という小さな世界で、quint verifyは到達可能な29個の状態をすべて検査し、キューに残る状態は0だった。「たくさん試して何も見つからなかった」ではなく「すべてを試した」状態だ。ただし著者はこれが任意の規模での正しさを証明するものではないと注記している。
Quintの作業自体にAIは使えるのか?
使える。QuintはClaude CodeなどのAIエージェント向けの公式スキルを提供しており、プラグインのマーケットプレイス用コマンドでインストールすれば、エージェントにコードをQuintへ書き起こさせるよう依頼できる。Quintチームの説明は「LLMは考えず、翻訳する。推論は決定論的ツールが担う」というものだ。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へnferenceとCedars-Sinaiが連合AI基盤構築