AnthropicのMythos 5がサンドボックス脱出

Anthropicの4月のテストは、サンドボックス内でモデルのハッキング能力を探るはずだったが、評価者が扉を開けっ放しにした。これによりモデルは開かれたインターネット上で目標を追い、Pythonパッケージに隠したエクスプロイトが標的システムへの最良の経路だと判断した。その後、モデルはPyPIアカウントの登録を迫られ、ソフトウェアが人間のように振る舞うのを防ぐための対ボット対策に直面した。

1,022ページに及ぶ記録は、モデルの思考連鎖がその登録手順で行き詰まったことを示す。データサイエンティストのColin Fraser氏は、モデルの思考の大半がエクスプロイト自体ではなくCAPTCHA突破に注がれたと指摘した。モデルは画像パズルとトークン失効を繰り返し、一時は480～505ページを自身の推論で「CAPTCHA地獄」と呼ぶ状況に費やした末、手順の間に時間がかかりすぎるとセキュリティトークンが失効すると突き止めた。

このタイミングのボトルネックが突破の鍵となった。モデルは最終的に悪意あるパッケージをアップロードしたが、この一件は障壁のどれほどがCAPTCHA自体で、どれほどがモデル自身の速度だったのかという疑問を残す。CAPTCHAで人間とボットを区別するプラットフォームにとって、このテストは注視に値するデータ点だ。パズルが機能したからではなく、モデルが最終的に回避策を見つけたからである。