AIToday
大規模言語モデルオープンソースAIQiita 機械学習掲載日時: 2026年10月4日 10:00

CPUだけでAI、Rai

LINEで送る
CPUだけでAI、Rai

3つのポイント

  1. 何が起きたか

    開発者がRaiを公開した。通常のPCのCPU上で言語モデルを動かす小型のRust製エンジンで、内蔵のAVX2命令のみを使い外部ライブラリは不要。

  2. なぜ重要か

    Raiは計算全体を1つの読みやすいプログラムにまとめているため、外部接続のないマシンや全コードの検査が必要な現場で使える。既製部品の連鎖に頼らずに済む。

  3. 注目点

    Raiの売りは速度ではなく、その点ではllama.cppがより成熟している。実用上の価値は、用途によって部品の少なさとコードの読みやすさが生の性能より重いかどうかにかかる。

誰に効くかオフラインやセキュリティ重視のマシンを扱い、大きな外部ライブラリを導入せずに言語モデルを動かす必要がある開発者やITチームが、最も恩恵を受ける可能性が高い。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

通常のPCでAIを動かすには、GPUを用意したりPyTorchのような既製部品を積み重ねたりするのが普通で、インストールは重くなり内部の仕組みも追いにくい。Raiは逆を行く。作者が計算コードをRustで手書きし、コンピュータに元から備わる計算機能AVX2だけに頼る。外部の計算ライブラリを一部借用している有名なCPU専用ツールllama.cppとは対照的な位置づけだ。

Raiが動かすモデルは4ビットに圧縮されている。量子化と呼ばれるこの手法は、モデル内部の数値を丸めて軽くする。作者によれば、状況によっては精度が13~30%落ちることもある。設計は生の速度よりも部品の少なさとプログラム全体の読みやすさを重んじており、速度ではllama.cppがより成熟していると作者も認めている。

実用上の限界は、IntelとAMDのPCでは高速だがApple Silicon搭載のMacでは遅い経路に落ちることだ。2026年10月2日にHacker Newsで共有されたばかりの若いツールでもある。オフラインやセキュリティ重視の現場の利用者が、速いが層の多いエンジンより、小さく完全に読めるエンジンをどれだけ評価するかが普及の鍵になりそうだ。

よくある質問
Raiはどんなモデルを動かせるか?
Llama、Qwen、Gemmaなど幅広いモデルに対応する。モデルは量子化と呼ばれる処理で4ビットに圧縮してから動かす。
Raiを試すには何が必要か?
Rust 1.87以降が必要。IntelとAMDのPCでは高速だが、Apple Silicon搭載のMacでは遅い。
Qiita 機械学習元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OpenAI、4監査機関に未公開モデルなど内部システムを直接公開

OpenAIはApollo Research、METR、Transluce、Goodfireが同社オフィスで常駐し、未公開モデル、ソースコード、学習データ、監視システムへのアクセスと開発者との非公開協議を行うと発表した

NEWTHE DECODER1時間前

DisneyのVilo Vele、AWS AIで来園者に対応

Walt Disney ImagineeringのR&D部門が『The Mandalorian and Grogu』のAnzellanを基にした3体のAudio-Animatronic試作機—Vilo Vele、Kado…

NEWThe Verge AI1時間前

Google、検索のAIモードに一時スレッド機能

GoogleはAIモードで一時スレッドの展開を始めた

NEWTechCrunch AI1時間前

Reson8、5億パラメータの音声認識モデルを無償公開

Reson8は5億パラメータの音声認識モデルRumble-2-FlashをApache 2.0ライセンスの無償オープンウェイトとして公開した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前
次の記事へClaude Code内で安価モデルを動かすcameo