Ollamaのチャットを標準ライブラリでストリーミング

この投稿はよくある摩擦点を狙っている。Ollamaには公式Pythonライブラリがあるが、スクリプトによってはない方がよい場合もある。urllibとjsonだけをインポートすることでpipを完全に回避でき、単一ファイルのツールやパッケージ追加が面倒なマシンに適する。スクリプトはローカルのhttp://127.0.0.1:11434/api/chatを小さなqwen2.5:0.5bモデルで叩くため、ループ全体が約20行で見通せる。

仕組みの要はNDJSONにある。streamをtrueにすると、各行がmessage.contentの断片とdoneフラグを持つ自己完結したJSONオブジェクトになる。応答を反復して各断片をflush付きで出力することが、ターミナルでのタイプライター効果を生む。ただしパイプにリダイレクトすると一つの塊に潰れてしまう。投稿者は、Python 3.6以降がUTF-8を自動検出するためjson.loadsが生のバイト列をそのまま受け付け、デコードの落とし穴を避けられると指摘する。

注意点は概念的というより実務的だ。最初のリクエストはモデルの読み込みを待ち、0.5Bモデルで約30秒と計測されており、自前でタイムアウトを設定する場合は重要になる。そしてストリーミングが動いた後は、会話履歴とトークン統計の整形が自分の責任になる。その負担が大きくなったら公式ライブラリを勧めると投稿者は述べており、ここでの要点は依存ゼロで動かすことにある。