264KBのRAMを備えたマイコンで画像生成AIを訓練

メモリ制約が厳しいハードウェアでAIモデルを実行することは通常は現実的でないと考えられているが、このプロジェクトは264KBのマイコンでさえ訓練済み拡散モデルをホストできることを実証した。実験は基本的なハードウェア設計の教訓を明らかにしている。並列MACエンジンで演算性能を追加しても、システムがメモリ帯域幅ではなくCPU速度でボトルネックになっていないため、全体的なパフォーマンスは改善されなかった。開発者がFPGAアクセラレーションを追加した選択は、実際には性能を約70秒から約220秒/画像に低下させた。これは極めて小さいSRAMとの間でデータをやり取りするのに必要な高いI/Oオーバーヘッドの直接的な結果である。このトレードオフはエッジデバイスAIでよく見られる。理論的には高速なハードウェアも、メモリアーキテクチャで制約されると遅くなる可能性がある。大量の量子化とメモリ圧力により画像品質は低下し、ノイズが多い、または歪んだ出力が生成されたが、一部の結果は受け入れ可能であると報告されている。エッジデバイス向けの特定のアプリケーションでは、クラウド接続なしでローカルで推論を実行できることと引き換えに、ロッシーな品質が許容されるトレードオフかもしれない。