LLM繰り返し回数の新プロトコルを検証

このプレプリントは、AI監査における実践的な問い、すなわち結果を比較する前にプロンプトを何回繰り返すべきかという問題に取り組む。著者は一般化可能性理論を用いて、固定反復閾値を統計的に根拠のある推定値に置き換えようとした。結果は、予測が多様なコーパスで概ね成立する一方、固定閾値は移転できないことを示し、文脈固有の要因が重要であることを示唆している。

多くのAI信頼性プラクティスが恣意的な繰り返し数に依存しており、それがすべての状況で効率的または正確であるとは限らないため、この発見は重要だ。事前登録されたテストの一部で部分一致や失敗があったことは、慎重な検証の必要性を強調する。外部テストにブランド関連データが欠如していることは顕著なギャップであり、その領域でのプロトコルの実世界適用性は未証明のままである。