エージェント評価、承認の確実さで

このエッセイは異例の立場から書かれている。100monkeys.aiによれば、記事は同社のAIエージェントが英語で起草し、同じエージェントが日本語に翻訳したもので、AEGIS、Zaru、Carbon Forgeが自社製品だと開示している。この枠組み自体が議論の一部であり、同社は自らのエージェントをどう統治したいかを語っている。

2つの「はい」の局面は、順序付けられた階層として提示される。事前の許可は実行環境に属する。プロンプトレベルのルールは単なる要求で、破られてもモデルの外では誰も気づかない。これに対しアーキテクチャ上のルールは、モデルが何を決めようとネットワーク呼び出しを失敗させる。これはデフォルトにも及ぶ。デフォルト拒否では「はい」の不在が「いいえ」を意味するが、デフォルト許可ではポリシーのあらゆる隙間が誰も与えていない許可になる。エージェントは悪意からではなく、多くのことを試すために、そうした隙間をすぐ見つけると付け加えている。

両方の承認の下には、エッセイが強調する実務的要件がある。作業が生き残らなければならない。人間を1時間待つエージェントは、プロセスが再起動しても自分の位置を失ってはならない。さもなければシステムは作業を破棄するか（人に承認を避けさせる）、最初からやり直して既に済んだ行為を繰り返す危険を冒す。同社自身の例はZaruのメールツールで、デフォルトではZaruのWebアプリの承認画面でその特定のメッセージが承認されるまで、創業者の送信メールを保留する。