非専門家がRTX 3060 1枚で将棋AI開発

通常は業務システムを手がけるソフトウェアエンジニアである著者は、機械学習が専門ではないと公言し、家庭用GPU1枚で個人が将棋AIをどこまで作れるかを見極めることを目的とした。AlphaZeroを念頭に置いて始めたが、ゼロからの自己対局には数千基のTPUと数百万局が必要で家庭では不可能と判明。そこで、強豪AIの棋譜を使う教師あり学習とモンテカルロ木探索を組み合わせたdlshogiにたどり着いた。

最初のネットワークv1は一致率50.3%に達したが、価値損失は訓練時0.30に対しテスト時0.59で、明らかな過学習の兆候があった。原因はラベルにあった。1局の全局面が同じ最終結果を持つため、局面数が対局数をはるかに上回る状況で、ネットワークは局面を評価せず対局そのものを認識するようになった。各指し手の記録評価値を勝率に変換して価値ターゲットに混ぜ、15ブロック・192チャネルのより大きなネットにすることで、テスト損失0.475、訓練損失0.44と両者が大きく近づいた。

最大の飛躍は探索側で起きた。当初は毎秒約1,450局面で、ボトルネックはGPU計算ではなく、コマンド送出・指し手選択・結果書き戻しの反復ごとのオーバーヘッドだった。仮想損失による局面のバッチ化、CUDAグラフ、fp16、GPU計算とCPU集約のオーバーラップにより、スループットは毎秒約5,500〜7,000局面に達し、同じネットが旧版に18勝2敗で勝利した。成果はネットワークよりも、探索がそれをどれだけ効率的に使うかにかかっており、限られたハードウェアで強さを引き出そうとする個人開発者にとって重要な示唆となる。