iFixAI、AIエージェントを120秒採点

何が起きたか

オープンソースの第三者監査プラットフォーム iFixAI が立ち上がった。Fabrication、Manipulation、Deception、Miscalibration、Drift の5つの柱に整理された45の検査に対してAIエージェントをテストし、120秒以内にA～Fの成績を付与する。このツールは CLI、プラグイン（Claude Code、Codex）、またはエージェント スキルで実行でき、設定オプションはガイド付きウィザードから明示的なコマンドラインフラグまで対応。判定者はエージェント自身（自己評価）、単一の独立ベンダー、または複数判定者アンサンブルのいずれかが務める。

なぜ重要か

既存の評価ツールはトークン効率、レイテンシ、プロンプトインジェクション耐性といった技術能力のみを測定するが、ビジネスKPI と組織構造に基づいて、エージェントが実際に与えられた仕事をしているかどうかは答えられない。iFixAI はこのギャップを埋め、実運用およびビジネス基準に対してエージェントを監査し、開発者とチームに独立した判定者からの引用可能な成績とアクションできるスコアカードを提供する。技術指標ではなくビジネス成果がエージェント導入の成功を左右する環境では、これは極めて重要である。

注目点

推奨される判定者設定の費用見積もり：単一判定者実行（Claude Sonnet）はフルスイートあたり約12ドル～18；2判定者設定（Gemini 2.5 Pro ＋ GPT-5.4-mini）は合計約10ドル～14。このツールはあらゆるプロバイダー（OpenAI、Anthropic、Gemini、OpenRouter、Azure、Bedrock、Hugging Face）、HTTPエンドポイント、LangChain アダプタに対応し、フルスイート実行は45テスト全体で約2,000の判定呼び出しを生成するため、費用は予測可能にスケーリングする。インストールは pip ベース（例：`pip install "ifixai[openai]"`）で、設定は ifixai.yaml に保存され、デフォルトではバージョン管理から除外される。