Metaのモデル、SageMakerで提供

Muse Spark Openの際立った特徴はその訓練方法にある。Metaによれば、複数ファイルにまたがるリファクタリングや長時間のデバッグセッションといった実際の開発者ワークフローを基に構築され、最初からエージェント型モデルとして設計されており、長い時間軸で計画し、行動し、自己修正する。100万トークンのコンテキストウィンドウは、依存関係やレガシーコードを含むプロジェクト全体を保持することを想定しており、タスクを分割せずに収められる。

提供する際の課題はメモリだ。スパース活性化によりトークンあたりの計算量は抑えられるが、エンドポイントは8160億パラメータすべてを保持する必要があるため、インスタンスの選択には容量が必要となる。そのため、重みをNVIDIAの4ビット浮動小数点形式で保存するNVFP4 variantが、コストを見積もる際に最初に試す選択肢となる。ただし、本番用インスタンスを選ぶ前に、自分のリポジトリで両方のvariantをベンチマークするよう手順書は勧めている。

もう半分の売りは制御性だ。エンドポイントは顧客のアカウント内で動作するため、自分のAmazon VPCに接続し、AWS KMSキーでストレージを暗号化し、ネットワーク分離を有効にし、モデルバージョンを固定して再デプロイ時のみ変更されるようにできる。AWSによれば、導入には通常15〜20分かかり、ホストされたインスタンスは稼働中ずっと課金されるため、終了時にエンドポイントを削除する手順も記事で説明されている。