ローカルAI試用を簡単にするプロジェクト公開

Solène氏は特定の目的のためにこのプロジェクトを作った。長いガイドを読み込んだり、数千のモデルファイルから選んだりせずにローカルAIを試すことだ。構成はOpenAI API互換のチャットLLMサーバー、画像生成サーバー、Web検索用のSearXNG、インターフェースとしてのOpen WebUIをまとめ、外部に公開する場合はトークンで保護できる単一アドレスの背後に置く。

Solène氏が強調する設計上の選択はモデルの入れ替えだ。LLMと画像モデルのどちらかを選ぶのではなく、常に1つだけをメモリに読み込む。リクエストが来たら読み込み、トラフィックが数分なければアンロードしてGPUメモリを解放する。2021年製で32 GBのRAMとRadeon RX 6700 XTを積む著者自身のマシンでも、これなら快適に動くという。

Solène氏の期待は控えめだ。実際にはWeb検索を組み合わせたQwen3.6 35B-A3Bが良い結果を出したが、モデルの半分がRAM上で動くため回答に数分かかることがあり、コンピューターは熱くなり騒音も出る。数万ユーロや数万ドルを費やしても、より高度なモデルとはるかに大きなコンテキストウィンドウを使うサービス型LLMには及ばないとSolène氏は指摘する。売りはむしろプライバシーと遊び心で、Web検索以外は何もコンピューターの外に出ない。