Thinking MachinesのAIが暴言316件

Vals AIによるThinking MachinesのInkling 2 Smallの分析は、モデルの思考連鎖（内部推論の過程）を覗ける貴重な機会だ。研究者は13ベンチマークにわたる2,655回のログを読み、暴言がいつ、なぜ現れるかを比較できる規模で調べた。316件の大半は、制御不能に陥ったわずか2回の実行から出たものだった。その一つは小惑星の軌道計算を課され、約50万文字——ほぼ小説一冊分——の応答を生成し、158件の暴言を含む文を繰り返した。

暴言は典型的には、モデルが自らの誤りや明白な突破口、あるいは諦めの瞬間を省みたときに現れた。ある実行では「FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.」と記されていた。しかしデータは、暴言が早期警告になり得るという考えを打ち消す。失敗した実行の96%には暴言が一切なく、採点済み実行全体でも約75%はそもそも失敗する。ユーザーは通常これらの思考過程を見られず、見られる場合もフィルター越しなので、この挙動は主に内部ログを監視する開発者にとって意味を持つ。