Hex、評価活用でAI誤編集7分の1に

HexはすでにAI機能で評価を使ってきたが、Quick Editsは違った。評価が最終チェックではなく、当初から開発を牽引したのだ。この機能は「Enterpriseの線を緑にして」といったリクエストを読み、一度にチャート編集を提案する小型モデルで動き、複雑すぎる場合はフルHexエージェントに引き継ぐ。Hexは実際の社内リクエストから数百件の評価ケースで始め、それを1,800件まで増やし、複数モデルで合成して不足を補った。ホールドアウトケースはスイートのほぼ40%を占め、ホールドアウト結果が改善した場合のみ変更を採用した。1ケースあたり3回の試行ではノイズが大きく、誤編集が約8件異なったため、Hexは1ケースあたり10回に落ち着き、ホールドアウトのノイズは0.2ポイントになった。フル実行は10ドル未満で数分かかるため、Hexは変更のたびにスイートを再実行し、10日間でチャートプロパティを3回変更した。特に、プロンプト変更だけではほとんど効果がなく、修正はしばしばロジックをバリデータやモデルが読むプロパティのラベルと説明に移すことを意味した。