
何が起きたか
Solène氏がbraindead-local-intelligenceを公開。podman上でチャットLLM、画像モデル、SearXNG、Open WebUIを動かし自動切替。
なぜ重要か
著者によれば、小型モデルでもローカルのスパムフィルタリングなどyes/noタスクには使える可能性がある。
こういう要約が、毎朝あなたのメールに届きます。
Solène氏は特定の目的のためにこのプロジェクトを作った。長いガイドを読み込んだり、数千のモデルファイルから選んだりせずにローカルAIを試すことだ。構成はOpenAI API互換のチャットLLMサーバー、画像生成サーバー、Web検索用のSearXNG、インターフェースとしてのOpen WebUIをまとめ、外部に公開する場合はトークンで保護できる単一アドレスの背後に置く。
Solène氏が強調する設計上の選択はモデルの入れ替えだ。LLMと画像モデルのどちらかを選ぶのではなく、常に1つだけをメモリに読み込む。リクエストが来たら読み込み、トラフィックが数分なければアンロードしてGPUメモリを解放する。2021年製で32 GBのRAMとRadeon RX 6700 XTを積む著者自身のマシンでも、これなら快適に動くという。
Solène氏の期待は控えめだ。実際にはWeb検索を組み合わせたQwen3.6 35B-A3Bが良い結果を出したが、モデルの半分がRAM上で動くため回答に数分かかることがあり、コンピューターは熱くなり騒音も出る。数万ユーロや数万ドルを費やしても、より高度なモデルとはるかに大きなコンテキストウィンドウを使うサービス型LLMには及ばないとSolène氏は指摘する。売りはむしろプライバシーと遊び心で、Web検索以外は何もコンピューターの外に出ない。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Google DeepMindは視覚言語行動モデル「Gemini Robotics 2.5」を発表した

Folkbenchは、静的キャッシュが効きにくい時事プローブと、一致率・入力トークン・思考トークン・指紋・キャッシュ状態を記録するモデル指紋プローブを組み合わせ、公式直結キーと比較する手法を発表した

Zennの執筆者が、Anthropic Messages・OpenAI Chat Completions・OpenAI Responsesの各APIを相互変換するローカルゲートウェイopencodex 2.100.2を…

サブエージェント間で34ファイルを置き換える試行で、delegating-work Skillを与えられたエージェントは24項目中18項目を満たし、なしでは3項目だった

Microsoftは11月17日から20日までサンフランシスコでIgniteを開催し、CEOのSatya Nadella氏が基調講演を行う

Robbyantは触覚モデルLingBot-Touchを公開した
