Amazon Bedrockで評価バイアスを修正

Property Finderが直面した根本問題は、AI調達でよくある近道だ。すなわち、比較対象の正解データとして本番モデル自身の出力を使うことである。ラベルの96.8%がそのモデル由来だったため、代替案は正しさではなくどれだけ忠実に模倣したかで評価され、隠れた誤り——幻覚的なウォーターマーク文字列や、実際には2つのラベルを持つ部屋に単一ラベルを押し付けること——が見逃されていた。正解データの再構築には、領域の専門家が画像を一からアノテーションし曖昧な事例を裁定することに加え、複数ラベル分類への切り替えが必要だった。これにより、戸口越しに寝室が見える廊下も公平に採点できるようになった。

信頼できるベンチマークが整うと、チームはプロンプト最適化をv0からv27までのループとして回し、各版を256枚の開発セットで採点して誤りを次のプロンプトに反映した。装飾的なアラビア文字の重ね表示に対する地域別ルールで偽陽性の一類型を排除し、画面の大部分を占める部屋で分類する指示で戸口の誤読に対処した。Llama 4 Maverick 17B Instructは共通の初期プロンプトでMicro F1 0.75だったのが調整後0.81に上がり、開発セットでは現行モデルの0.55を上回った。

より広い教訓は順序の問題だ。モデル選定とプロンプト調整が報われるのは、計測を正してからに限る。チームの言い方を借れば、正しく測れないものは改善できない。Property Finderの本番監視では、推論レイテンシも従来構成比で40〜60%減っており、成果は精度だけではないことを示唆する。チームは、プロンプトを評価セットに含まれる画像で調整したため報告した精度は楽観的だと注記しており、次はホールドアウト分割での独立した再現が必要だ。