GIGAZINEがOllamaで27Bモデルを実行

計画的な構築の最初の部分は、1台の高性能Windows PCを他マシン向けのAIサーバーとし、ブラウザ側の制御はHermes AgentというAIエージェントが担い、推論処理だけをサーバーに委ねるというものだ。想定する構成は、モデル実行用のOllamaと、API中継・ユーザー管理・利用ログ用のOpen WebUI、さらにVPN接続用のNetBirdを組み合わせる。

今回は、Intel Arc Pro B70 32GBを搭載したPCにOllamaを導入しQwen3.8-27Bを実行する。テスト後、2つ目のPowerShellウィンドウで「ollama ps」を実行すると「100% GPU」と表示され、モデルがグラフィックスメモリに完全に収まったことを意味していた。デフォルトのコンテキストサイズは32kだったが、Hermes Agentが必要とするため64kに引き上げた。テストプロンプトは限界も示した。モデルは自身の名前を知らなかったが、27Bのパラメータ数と4ビット量子化からVRAM要件を算出し、トークン出力は非常に高速だった。

個別ユーザーアカウントを含む残りの設定は次回に持ち越す。