AIToday
大規模言語モデルオープンソースAIGIGAZINE AI掲載日時: 2026年11月13日 22:01

無料ツールが160億AIを端末動作

LINEで送る
無料ツールが160億AIを端末動作

3つのポイント

  1. 何が起きたか

    llama.cppを改修したオープンソース「smolmaxxing」がGitHubで無料公開され、メモリ1.9GBのXiaomi TV Box S(第3世代)でLing-mini-2.0(160億パラメータ)が毎秒5.1トークンで動くことを確認した。

  2. なぜ重要か

    よく使うデータをメモリに置き残りをストレージから読み込むことで、メモリの乏しい機器でも大規模モデルをローカル実行できる。

誰に効くか古いタブレットやTVボックスなどメモリの少ない機器でAIモデルをオフライン実行したい開発者や愛好家に無料の選択肢が加わる。ただし初代iPad Airで動かすにはiOSの脱獄が必要だ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

ローカルAI、つまりクラウドではなく端末上で直接モデルを動かす手法には、ネット接続なしで動くという明快な利点がある。難点はメモリだ。高性能なモデルほど多くのメモリを要求するため、古いスマートフォンやタブレットは対象外になる。

smolmaxxingは、ローカルAIで広く使われるソフトウェアllama.cppを土台に、小型端末向けの調整を加えるアプローチを取る。Hacker Newsの投稿によると、開発者の実験は約160回にわたり、Xiaomi TV Box S上で20億パラメータのQwen3.5-2Bと160億パラメータのLing-mini-2.0を組み合わせた。結果はモデルの規模だけでなくアーキテクチャも重要であることを示す。90億パラメータのQwen3.5-9Bは同じ端末で毎秒0.27トークンしか出ず、開発者は速度と品質のバランスに優れるのはQwen3.5-2Bだとしている。

プロジェクトはGitHubで無料公開され、モデルはHugging Faceで提供される。開発者はスマートフォンやルーターなど更多の端末への対応拡大を目指すとしており、実現すればAIをローカルで動かせるハードウェアの幅が広がる。

よくある質問
smolmaxxingはどんなハードウェアでテストされたか?
メモリ1.9GBのXiaomi TV Box S(第3世代)と、メモリ1GBの初代iPad Airでテストされた。iPad Airで動かすにはiOSの脱獄が必要だ。
smolmaxxingはどうやって大規模モデルを小さなメモリに収めるのか?
よく使うデータをメモリに保持し、残りは必要に応じてストレージから読み込む。CPU向けの処理最適化も行っている。
smolmaxxingと最適化済みモデルはどこで入手できるか?
プログラムと実験結果はGitHubで公開されており、最適化済みAIモデルはHugging Faceから入手できる。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

FlashLabs、コード変更なしでトレース出力

FlashLabsがOrcaRouterゲートウェイのTrace Exportを強化し、SDKやコード変更なしでAIリクエストのトレースをGrafana、Datadog、Langfuse、LangSmithへリアルタイム…

NEWASCII.jp2時間前

SamuraiAX、ヤマト運賃をAIで取得するAPI連携

KivaのSamurai Appに、ヤマト運輸「ビジネスメンバーズ」の顧客コードへログインし運賃と請求金額を取得、複数コード・複数月の運賃CSVを一括ダウンロードできるAPI連携を追加

NEWASCII.jp2時間前

NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす

Notion LabsのCISOデイビッド・ツァオ氏は、11月2日のFireworks AIへの不正アクセスでNotion AI Insightsのチャット記録が流出した可能性を受け、11月12日に影響を受けた日本顧客へ…

NEWITmedia AI+2時間前

川崎重工、神戸須磨シーワールドでAIカメラ人流分析の実証

川崎重工業は11月16日、神戸須磨シーワールドでAIカメラによる実証実験を行うと発表した

NEWAI Watch (Impress)2時間前

SwitchBot、GPT対応スマートリモコン「ハブ4」予約販売開始

SwitchBotはスマートリモコン「Hub 4」の予約販売を11月18日に19,980円で開始した

NEWAI Watch (Impress)2時間前

CodeRabbit、GPT-6 Cyberをセキュリティ製品に統合

CodeRabbitはOpenAI Daybreak Defense Networkに参加した

NEWPR TIMES (AI)5時間前
次の記事へMirendilが10億ドルのシリーズAを調達