エージェント的タスク、再試行にコスト

この寄稿の出発点は、従来の企業システムのほとんどが3つの前提の上に築かれてきたという点にある。処理はすぐ終わる、再試行は無料である、同じ入力は常に同じ出力を生む、という前提だ。エージェント的ワークロードはこの3つすべてを崩す。Touheed氏は、難しいのはモデルであることはまれで、こうしたワークロードがもはや持たない性質を前提としている周辺のインフラと管理慣行なのだと書く。

同氏の議論の大きな部分は、なぜ企業がこの事態を予見できないかに割かれている。人間がAIと対話し各応答を確認するとき、その人間がエラーハンドラーになる。つまり誤りは常に存在していたが、見えないままだったのだ。自動化されたエージェントのワークフローは無人で動き、対話的な利用では安定して動いていたワークフローが、スケジューラが一晩に400回、誰も見ていない中で起動すると挙動が変わりうる。Touheed氏の処方箋は、人間が手作業で担っていたあらゆるタスクを洗い出し、どの自動チェックやシステムがそれを引き継ぐかを明確にすることだ。

コストも同じ枠組みで捉えている。クラウドやモデルAPIの利用は月次サイクルで非同期に請求されるため、複合した再試行コストは静かに積み上がり、数週間後に請求書が届いて初めて見えるようになる。だからこそ同氏は、支出を呼び出し単位ではなく完了した単位で追跡すべきだとする。障害については、データパイプラインとの類似を引く。エージェント的作業は長時間稼働し、部分的に失敗し、再実行のコストが高い。同期式のリクエストとレスポンスが当たり前のアプリケーション開発から来たチームは、そのギャップをスキルの必要性ではなく、次々と起きる予期せぬインシデントとして発見するかもしれない。