2890万パラメータLLMがESP32-S3で動作

この成果は言語モデルをハードウェアの極限にデプロイする方法の転換を表している。従来、モデルをマイコンに適合させるには、モデル全体が高速メモリに収まる必要があったため厳しいパラメータ削減が必須だった。ESP32-S3の512KB SRAMという限界により、このチップクラスの従来モデルは26万パラメータが上限だった。GoogleのPer-Layer Embeddingsアーキテクチャを採用することで、開発者はモデルのルックアップテーブル（埋め込み）を推論コアから切り離し、2890万パラメータのうち2500万を低速16MBフラッシュメモリに配置できた。アクティブな計算すなわち「思考」部分のみが高速メモリに存在する必要があり、メモリ制約の方程式が根本的に変わった。

モデルは実用的なパフォーマンスを維持しながらこれを達成している。秒間9トークンはスクリーン上のリアルタイムテキスト生成に十分であり、TinyStoriesでの一貫性のあるストーリー生成は、このアーキテクチャのトレードオフがスケール時の推論品質を損なわないことを証明している。TinyStoriesでの意図的なトレーニングの選択はモデルの制限（質問回答、指示遵守、事実知識なし）を認め、期待値をこのアーキテクチャが実現できることに根ざしている。これは明確に大規模モデルが小さなエッジハードウェア上で動作できることを実証することであり、汎用AI システムとの競争ではない。