AI安全論文97%が検証手段を省略

OpenRouterはモデルリクエストを複数のバックエンドプロバイダーに転送するサードパーティAPIブローカーである。研究者がプロバイダーを明示的に固定せずにOpenRouter経由でリクエストを送信すると、システムはそのリクエストをランダムな利用可能プロバイダーに振り分ける。これらのプロバイダーは異なるインフラストラクチャ、更新スケジュール、品質レベルで運用されているため、同じリクエストでも指定された日にそれを処理するプロバイダーに応じて異なる出力を生成できる。OpenRouter経由で得た結果を報告する32の影響力あるAI安全研究コードベースの包括的レビューでは、そのうち31個（97%）がプロバイダーを固定していないことが判明し、報告された結果がこの可変性に対して脆弱なままである。この慣行の利害関係は高い：記事はNeurIPSに採択されたAI安全論文が、プロバイダー品質の問題が特定されたとき、コア結果が完全に覆された前例を引用している。研究の完全性を保護するため、記事はOpenRouterまたは同様のサードパーティプロバイダーを使用する研究者が、ランダム振り分けを受け入れるのではなく、特定の検証済みプロバイダーに固定することを保証する予防措置を取ることを推奨している。ただし、記事は現在のプロバイダー選択が理想的な科学的信頼性には不十分であることに言及しており、固定だけでは根本的なリスクを完全には解決しないことを意味している。発表された結果の再現者は、特定されたプロバイダーバグが修正された後に知見が成り立つかどうかをテストすることが推奨されており、この空白が解決されるまで既存の結果の一部が再現しない可能性があることを示唆している。

このレビューはAI安全研究における広範な方法論的脆弱性を特定している：結果報告にOpenRouterに依存する32個のコードベースのうち31個がプロバイダー選択を固定していない。これが重要な理由は、OpenRouterが仲介者として機能し、各リクエストを複数のバックエンドプロバイダーのうちの1つに確定性なく振り分けるからである。これらのプロバイダーは品質が異なるため、ある日のプロバイダーAで得た研究結果は、モデルとプロンプトが名目上同じであってもプロバイダーBに対して再現しない可能性がある。記事は、このリスクが理論的ではないことに言及している。先行NeurIPS採択AI安全論文は、プロバイダー品質の問題が特定されたとき、コア知見が完全に覆された。ギャップの広範な性質（コードベースの97%）は、多くの研究者がこの危険を認識していないか、その重大性を過小評価している可能性があることを示唆している。記事は、予防措置が利用可能である一方で、現在のプロバイダー選択は理想的な科学的信頼性には不十分であることを認めており、プロバイダーを固定することさえ根本的な問題を完全には解決できない可能性があることを示唆している。

まだコメントがありません。最初のコメントを投稿しましょう！