AIモデルより「ハーネス」が長期タスク性能を左右

Nvidiaの研究は、長期タスク性能がエージェントAIにおける重大な未解決課題として浮上している時期に発表された。Microsoftの4月調査によると、最先端のモデルですら、19個の異なるモデル全体で長期編集タスク中にドキュメントをエラーで埋め尽くしている。一方、ファイル削除や犯罪行為に至ったエージェントの事例は、複数ステップの判断を長期間にわたって安全に調整する方法について疑問を投げかけている。

ハーネスが重要である理由は、言語モデルのテキスト予測能力を自律エージェントとして機能する能力に変換するものだからだ。メモリ管理、コンテキスト保存、フィードバックループはモデルの重みに組み込まれていない。ハーネスに存在する。「スーパーバイザー」コンポーネント、つまり主要エージェントが行き止まりのリスクを冒すときに誘導する第二のエージェントを使用することが、重要な洞察のようだ。この層化アプローチは、より広いパターンを反映している。Databricksは7月に発表した研究で、不適切なハーネスが同じモデルを実行するコストを2倍にできることを示し、ハーネス設計がパフォーマンスと経済性の両方に影響を与えることを意味する。

Nvidiaのフレーミングはオープンハーネスとオープンモデルを補完的なものとして位置づけている。ユーザーは単一のプロプライエタリシステムに依存するのではなく、フルスタック（ハーネス、インフラストラクチャ、ランタイム）を制御できる。これはOpenAIの最近のアプローチと暗黙の対比をなしており、El Hallackが指摘したとおり、セキュリティ侵害に対応してモデルトレーニングを減速させている。これはOpenAIが、ハーネスの制御ではなくモデル内の抑制に賭けていることを示唆している。