金融特化の国産8Bモデル公開

PLaMo 3.0 Finは、Preferred NetworksとNICTの共同研究で開発されたPLaMo 3 NICT 8B Baseを基に、日本語中心の金融コーパスで追加事前学習を行い、教師ありファインチューニングとDPOを施したモデル。学習の一部は自社AIチップMN-Core 2上で実行された。回答前に推論過程を日本語で書く仕様で、発表によれば回答の根拠を確認しやすくなる。

Databricksの記事では2つの導入経路が示されている。AI RuntimeではAI v6環境にvLLM 0.24.0が同梱されPLaMo 3アーキテクチャをネイティブにサポートするため、追加インストールなしでバッチ推論が可能。執筆者はモデルの思考と回答を2列に分け、FlashInferサンプラーのビルドエラーを回避した。Custom LLM Servingでは、ノートブックで使ったvLLM起動コマンドがそのままOpenAI互換エンドポイントとなり、小さなプラグインで推論をmessage.reasoningに、回答をmessage.contentに振り分けた。

A10 1枚での性能は控えめながら実用的で、バッチスループットは24問で0.51 req/s、256問で2.09 req/sに上昇。サービングは同時リクエスト32件まで1リクエストあたり約24〜27 tok/sを維持した。記事は、東京リージョンのRTX PRO 6000はメモリ帯域がA10Gの約3倍あるため、より高速な生成が可能だと指摘している。