Sakana の Fugu Ultra v1.1、Claude の Fable 5 を上回ると主張

Sakana AI は Fugu Ultra v1.1 をリリースしました。これは AI ルーター、つまり単一のモノリシックモデルに依存するのではなく、キュレーションされた公開の一流モデルのプール全体に受信クエリを振り分けるシステムの更新バージョンです。同社は、このアップデートが v1.0 比で最大 7.9 ポイントのパフォーマンス向上をもたらすと主張しており、最も顕著な改善は ProgramBench と TerminalBench 2.1 に表れています。注目を集める可能性のある主張として、Sakana は Fugu Ultra v1.1 が Fable 5 をルーターのモデルプールに含めていないにもかかわらず、ほとんどのベンチマークで Anthropic の Fable 5 を上回ると報告しています。

これらのパフォーマンス数値は完全に Sakana からのものであり、まだ独立した第三者による検証を受けていないことに注意することが重要です。Fugu Ultra v1.1 の価格モデルは以前のバージョンから変わっていません。入力トークン 100 万個あたり 5 ドル、出力トークン 100 万個あたり 30 ドルです。Sakana は、新しい一流モデルが利用可能になると、Fugu の選択プールに統合される前に約 2 週間のトレーニングと評価を受けると述べています。このアップデートの技術的詳細は Sakana の技術レポートに記載されています。パフォーマンスの改善に加えて、v1.1 は Claude Code 互換のエンドポイントを導入し、開発者がターミナルから直接 Fugu を呼び出すことを可能にします。

Fugu はリリース以来 OpenRouter や Vercel などのプラットフォーム経由でアクセス可能でした。Fugu の以前のバージョンはユーザーと批評家から賛否両論のフィードバックを受け、トークン消費量が多く、応答速度が遅く、結果が弱いことに関する懸念が強調されました。地域的な制限が適用されます。Sakana は現在 EU と EEA に提供していません。同社はこの制限を GDPR とその他の EU 固有の規制要件に属するものと述べています。

Fugu Ultra v1.1 は、複数のモデル間でクエリをインテリジェントに振り分けることの AI ルーティングを、単一の大規模モデルを構築または微調整するための競争力のある代替手段として位置付ける Sakana の試みを表しています。v1.0 比での 7.9 ポイントのパフォーマンス向上の主張、特に ProgramBench と TerminalBench 2.1 での向上は、最適化が行われていることを示唆しています。ただし、独立した検証の欠如は重大な注釈です。Sakana が Fable 5 をプールに含めずに v1.1 が Fable 5 を上回ると主張している事実は、本物のアーキテクチャ効率を示すか、ベンチマーク自体が実世界の使用を代表していない可能性があることを示しています。

Fugu の初期バージョンはトークン使用量が多く、応答時間が遅く、結果が失望的であることで懐疑的な見方を受けました。7.9 ポイントの向上がこれらの問題に対処する可能性がありますが、外部で検証された場合のみです。Claude Code 互換のエンドポイントの追加は、Sakana が開発者ワークフローとより深く統合しようという意図を示しています。プールに新しいモデルを追加するための 2 週間の評価期間は、Sakana が新しいモデルが出現したときに Fugu を最新に保つプロセスを持っていることを示唆していますが、これはプールが静的ではなく、v1.1 のパフォーマンスについての主張はモデルが追加または削除されるときに変わる可能性があることも意味します。

まだコメントがありません。最初のコメントを投稿しましょう！