Boson AIが全二重対話モデルを発表

Boson AIはHiggs Realtime Duplexを、会話作業の大半を自ら処理し、難しいターンにはより大きなバックエンドモデルを割り当てるフロントモデルと位置づけている。同社は、推論とツール利用のすべてを大きなモデルに委ねる方が学習は簡単だとしつつ、大型推論モデルは応答に10秒以上かかる場合があり、ターンごとのコスト管理が難しいと指摘する。代わりに45Bのフロントモデルが思考し、ツールを呼び、必要な時だけ委ね、バックエンドは裏で動く。

学習にはマルチティーチャーのオンポリシー蒸留と、エージェントシステムがシミュレーション環境と対話し、失敗をレビューし、狙いを定めたデータを合成する再帰的自己改善ループを採用した。Bosonはトークン使用量も意図的に削減しており、入力はチャンクあたり音声1トークン、出力は2トークン、カメラフレームは6チャンクごと、顔は2潜在変数とした。この設計によりストリームは毎分約2.6Kトークンに収まり、思考とツール呼び出しで約2.6〜5K、本番環境の直近5分間のウィンドウでは約13K〜25Kになる。

他のリアルタイム・ライブモデルとのベンチマーク結果はまちまちで、Bosonはこれを分野がまだ初期段階にある証拠と見ている。特筆すべきは、45BのフロントモデルがThinking Machinesの276Bモデル（約6倍の規模）と比較され、結果が互角に渡り合っている点だ。この構図は、対話型音声映像エージェントではデータ・アーキテクチャ・学習手法が生の規模よりも重要かもしれないことを示唆する。