Ollamaの初回API呼び出しに約30秒

Ollamaはローカルの大規模言語モデルを手軽に実行できる手段として知られ、コマンドラインインターフェースとグラフィカルインターフェースの両方を提供している。HTTP APIに焦点を当て、PowerShell内蔵のInvoke-RestMethodを使えば追加ライブラリは不要だと示している。著者はネイティブの/apiエンドポイントとOpenAI互換の/v1エンドポイントの両方を試し、後者がmax_tokensやmessages[].roleといった馴染みのあるフィールド名を受け付けることを確認した。この互換性により、開発者はOllama向けのツールを作る際に既存のOpenAIクライアントコードを再利用できる可能性がある。

テスト環境はWindows 11、PowerShell 5.1、Ollama 0.40.4で、小型のqwen2.5:0.5bモデルを使った。著者は初回リクエストの所要時間を約30秒と計測した。これにはモデルをメモリに読み込む時間が含まれる。これは実用的な詳細だ。小型モデルでも起動コストは無視できないため、クライアント側のタイムアウトを厳しくしすぎるべきではない。

計測以外にも、テスト中にいくつかの落とし穴に遭遇した。エンコーディング問題を避けるためContent-Typeヘッダーにcharset=utf-8を指定すること、ネストした配列には十分な-Depth値を付けてConvertTo-Jsonを使うこと、ストリーミングではなく単一のJSONレスポンスを得たい場合はstream = $falseを明示的に設定することだ。これらは一般的な助言ではなく、具体的で再現可能な観察であり、PowerShellからOllamaのAPIをスクリプトで扱う際に必要な調整の種類を示している。