ESP32マイクロコントローラ2台を組み合わせ、単一ボードでは不可能だった大規模な言語モデルの推論を実現するシステムが開発されました。

何が起きたか

Llama型の言語モデルをINT4形式に圧縮し、層を2つのESP32-S3ボード間で分割して実行するパイプライン推論システムが開発されました。単一ボードでは最大15Mパラメータまでしか対応できませんでしたが、このアプローチにより2ボード構成では42Mパラメータまで対応可能になります。

注目点

現在は15Mパラメータの構成で~1.4 tok/s（トークン毎秒）の速度で動作しており、42Mパラメータへのアップグレードは~0.4～0.7 tok/sの速度が見込まれています。コードはMITライセンスで公開されており、ハードウェア検証済みです。