CPUだけでAI、Rai

通常のPCでAIを動かすには、GPUを用意したりPyTorchのような既製部品を積み重ねたりするのが普通で、インストールは重くなり内部の仕組みも追いにくい。Raiは逆を行く。作者が計算コードをRustで手書きし、コンピュータに元から備わる計算機能AVX2だけに頼る。外部の計算ライブラリを一部借用している有名なCPU専用ツールllama.cppとは対照的な位置づけだ。

Raiが動かすモデルは4ビットに圧縮されている。量子化と呼ばれるこの手法は、モデル内部の数値を丸めて軽くする。作者によれば、状況によっては精度が13～30%落ちることもある。設計は生の速度よりも部品の少なさとプログラム全体の読みやすさを重んじており、速度ではllama.cppがより成熟していると作者も認めている。

実用上の限界は、IntelとAMDのPCでは高速だがApple Silicon搭載のMacでは遅い経路に落ちることだ。2026年10月2日にHacker Newsで共有されたばかりの若いツールでもある。オフラインやセキュリティ重視の現場の利用者が、速いが層の多いエンジンより、小さく完全に読めるエンジンをどれだけ評価するかが普及の鍵になりそうだ。