二輪倒立振子を模倣学習でAI制御

このプロジェクトは物理AIの実用的な課題に向き合っている。実機で直接学習すると試行錯誤の過程でロボットを壊す恐れがある。まず従来のPD制御で倒立振子を安定させれば、約5秒間にわたる安定した挙動を1000サンプル安全に収集できる。そのサンプルがPC上の小さなニューラルネットの学習データとなる。

ネットワーク自体は意図的に最小構成で、入力2つ（傾き角と角速度）、隠れ層4ニューロン、出力1つ（モーター指令）となっている。scikit-learnのMLPRegressorで学習後、重みとバイアスをCore2に移し、短いMicroPython関数で推論を行う。著者はこれは強化学習よりも行動クローニングに近いと指摘する。AIは新しい平衡戦略を発見するのではなく、制御器の入出力関係を再現しているのだ。

AIのみの制御中も安全策は維持された。PD指令を並行して計算し、AIとPDの指令が大きく乖離した場合、傾きが20度を超えた場合、制御周期が異常になった場合にはシステムを停止する。著者はまた、外乱の大きさを測定していないため、PDとAIの外乱抑制の比較は定量的ではないと注意を促している。