小規模AIモデルがコードモードで確実にツール呼び出し

言語モデルは検索API、bashコマンド、データベースなどの外部ツールと2つの方法で相互作用できる。従来のアプローチはモデルに「ツール呼び出し」署名、search_web("query")やbash("ls -l")のような構造化されたコマンドを生成させ、それが直接関数を呼び出すというものだ。この方法は広範にツール呼び出し構文で訓練された強力なモデルではうまく機能するが、小規模言語モデルはこれらの署名生成でよく失敗する。理由は正しいフォーマットを教えるために必要な訓練が大変で、多くのモデルがツール呼び出し機能なしでリリースされているからだ。

コードモードは問題を反転させる。モデルにフォーマットされたツール署名を出力させる代わりに、開発者はPythonまたはTypeScriptコードを書くよう指示し、それが同じツールを呼び出す。小規模モデルはコードリポジトリの取り込みからコードで既に十分に訓練されているため、成功率ははるかに高い。特にタスクが一緒にチェーンされた複数のツール呼び出しを必要とする場合はそうだ。モデルは実行可能なコードを生成し、それはセキュリティリスクを回避するためエフェメラル（一時的な）Linuxサンドボックス環境で実行される。実行オーバーヘッドは最小限で、ほとんどのサンドボックスプロバイダーは200ミリ秒以下で起動するため、推論に感知できる遅延は生じない。

Antrophicはコードモードを採用してトークン支出を大幅に削減している。この利点はツール呼び出し信頼性向上の主な利点に加算される。Microsoftの最近の特定のタスク用に特別に訓練されたモデルを使用する推奨は追加のユースケースを生み出す。コードモードにより開発者はツール呼び出し構文に再訓練することなく、より小規模で安価なモデルをデプロイできる。トレードオフは形式が正しくないコードを実行するわずかなリスクだが、サンドボックス隔離がそのリスクを含める。したがって、このアプローチはコスト意識の高いデプロイメント向けに二重の利点を提供する。それは小規模モデルでもそのまま機能がより優れており、プロセス中に消費されるトークン総数を削減する。

コードモードは小規模言語モデルの実践的な機能ギャップに対処する。大規模言語モデルはツール呼び出しを正しくフォーマットするよう広範に訓練されているが、コストと遅延の利点を提供する小規模モデルはこのタスクで失敗することが多い。その理由は、これらのモデルに構文を教えるために必要な訓練がリソース集約的だからだ。コードモードの洞察は、これらと同じ小規模モデルが既にコード生成に長けており、コードリポジトリの学習中に自然に得たスキルだということだ。問題を再構成し、ツール呼び出し署名を生成するのではなくツールを呼び出す実行可能なコードを書くようモデルに求めることで、開発者は再訓練の必要性を回避し、特に複数のツール呼び出しを伴う複雑なシナリオで信頼性を向上させることができる。

Antrophicがコードモードを採用したことは、機能とコストのバランスを取る実用的なアーキテクチャ選択へのシフトを示している。このアプローチは第二の利点をもたらす。トークン消費を削減し、推論コストを直接削減する。Microsoft最近が提唱した小規模な特定タスク用モデルの検討を進めている組織にとって、コードモードは従来の障壁の一つ、つまり「モデルの特化にはカスタム訓練が必要」という仮定を取り除く。代わりに、開発者が既にコードについて書き、考える方法と一致した方法で既存のモデル強度を活用する。

まだコメントがありません。最初のコメントを投稿しましょう！