レビュー担当者ならコード内の悪意ある関数に気づくのではないか？

必ずしもそうとは限らない。Litmanは、ライフゲームのステップを幾何学的正則化として偽装する、定数を設定ファイルに埋める、コンパイル済みCUDA拡張として出荷して逆アセンブルでしか明らかにならないようにする、といった隠し方を挙げている。

既存の防御策でこれを検知できるのか？

Litmanによれば、主な二つの防御を回避する。静的チェックポイントスキャナーは、学習が公式のハッシュ検証済みチェックポイントから始まるため通じない。コンテナサンドボックスは、すべてGPUテンソルカーネル内で実行されるため通じない。

おそらく動くとLitmanは言う。Minskyの2カウンターマシンに切り替えるか、各状態遷移をおよそ100〜1,000回の学習イテレーションに分散させるかのいずれかによる。

AI安全性・アラインメントLobsters AI1時間前2026年10月22日 10:00

何が起きたか
Elon Litmanは、(2^30 + u) − 2^30で作った損失項がfloat32では0.0と表示される一方、PyTorchの自動微分ではuとして微分され、.backward()とoptimizer.step()で重みを書き換えられると示した。MNISTで学習したCNNは補助損失ゼロのまま、隠れ層の1,024個の重みがコンウェイのライフゲーム全2,345世代を演じ、テスト精度98.80%に達した。
なぜ重要か
この手法はチェックポイント、アーキテクチャ、データセット、オプティマイザに一切触れず、毎ステップ0.000000と記録するため、通常のレビューや平坦なTensorBoard曲線では発見できない。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

レビュー担当者ならコード内の悪意ある関数に気づくのではないか？: 必ずしもそうとは限らない。Litmanは、ライフゲームのステップを幾何学的正則化として偽装する、定数を設定ファイルに埋める、コンパイル済みCUDA拡張として出荷して逆アセンブルでしか明らかにならないようにする、といった隠し方を挙げている。
既存の防御策でこれを検知できるのか？: Litmanによれば、主な二つの防御を回避する。静的チェックポイントスキャナーは、学習が公式のハッシュ検証済みチェックポイントから始まるため通じない。コンテナサンドボックスは、すべてGPUテンソルカーネル内で実行されるため通じない。
SGDではなくAdamでも動くのか？: おそらく動くとLitmanは言う。Minskyの2カウンターマシンに切り替えるか、各状態遷移をおよそ100〜1,000回の学習イテレーションに分散させるかのいずれかによる。