Poolside、118Bコーディングモデル「Laguna S 2.1」を公開

サンフランシスコを拠点とする3年前に設立されたAIラボPoolsideは、政府および防衛機関にコーディングモデルを販売することで専門領域を切り開き、公開されることなく事業を展開してきた。火曜日、同社は戦略の大きな転換を示すLaguna S 2.1をリリースし、最も能力の高いモデルをHugging Faceで公開した。

Laguna S 2.1は118億パラメータのMixture-of-Experts（MoE）システムであり、与えられたインプットに対してモデルのパラメータの一部のみが活性化されるニューラルネットワークの一種であり、計算コストを削減する。このモデルはトークンあたり80億パラメータのみを活性化し、最大100万トークンのコンテキストウィンドウに対応しており、非常に長いコーディング問題や指示シーケンスを処理できることを意味する。Poolsideのベンチマークによれば、このモデルはTerminal-Bench 2.1で70.2%のスコアを獲得している。Terminal-Bench 2.1は、長期にわたるターミナルタスク（コーダーが実行する必要のある拡張されたコマンドまたは操作のシーケンス）でのパフォーマンスを測定するために設計されたベンチマークである。Poolsideが集計したリーダーボードでは、Laguna S 2.1は11位にランクインしており、より大きなモデルよりも前に位置づけられ、エージェント型コーディングタスクで自社より数倍大きなオープンモデルと同等かそれ以上の性能を発揮していることを示している。

Poolsideのリリース戦略は、規模よりも透明性と効率への意図的な賭けを強調している。OpenMDW-1.1ライセンスの下で許容的なオープンライセンス条件でHugging Faceにウェイトを即座に公開することで、同社は外部による精査と使用を招待しており、これはより大きな競争相手からの閉鎖的モデルの増加傾向とは対照的である。ケタ違いに大きいモデルを構築・訓練する資本を持たない小規模ラボにとって、このアプローチは競争力を得るための別の道を提案している。効率性に焦点を当て、結果を明確に公開し、コミュニティに主張を検証させるのである。他の研究者と実務者がLaguna S 2.1の実世界のタスクにおけるパフォーマンス向上を確認するかどうかは、Poolsideの透明性と効率への賭けが競争的なコーディングモデルに対する期待を再構築できるかどうかを左右するだろう。

Poolsideは過去3年間、注目を浴びることなく事業を展開してきた。政府や防衛機関にコーディングモデルを販売し、規模の競争では注目を集めるレースに参加していない。Laguna S 2.1により、同社は戦略的転換を遂行している。最も能力の高いモデルをHugging Faceで公開し、118億パラメータのシステムがコーディングベンチマークでより大きなライバルを上回ることができると主張している。この主張の鍵は効率性にある。このモデルはトークンあたり118億パラメータのうち80億パラメータのみを活性化するため、推論コストは同程度の規模の完全密結合システムよりもはるかに低い。

「圧倒的な透明性」を規模よりも重視するPoolsideの決定は、十分な資金を持つ既存企業から提供される閉鎖的で大規模なモデルがますます支配的な業界では注目に値する。許容的なオープンライセンスの下で即座にリリースすることで、Poolsideはモデル設計への自信を示し、外部による検証を招待している。Terminal-Bench 2.1で70.2%のスコアを獲得し、自社のリーダーボードで11位にランクインしていることは具体的なベンチマークだが、Poolsideの独自のリーダーボードはまだ独立したベンチマークの業界における重みに達していない可能性がある。本分野にとって重要なのは、外部の研究者および開発者がこの小規模で効率的なモデルが実世界のコーディングタスクでより大きな代替案と実際に一致できることを確認するかどうかである。

まだコメントがありません。最初のコメントを投稿しましょう！