Microsoftが自然言語でAIの動作テストを生成するオープンソースフレームワーク「ASSERT」を公開

Microsoftが火曜日、ASSERT（Adaptive Spec-driven Scoring for Evaluation and Regression Testing）という名称のオープンソースフレームワークを発表。AIモデルの期待される動作をプレーンテキストで記述すると、それを構造化された受け入れ可能/受け入れ不可の動作に変換し、問題シナリオとテストケースを生成して、ターゲットシステムに対して実行・スコア付けを行う。

開発者は自然言語でAIシステムの目標、ポリシー、意図した動作を説明でき、ASERTが自動的にテストを生成。例として、文書調査AIエージェントが社外の人にメール送信しない、機密情報をC級経営者のみに制限するなどのルールを指定すると、ASERTがそのルールの遵守をチェックするテストケースを継続的に生成する。

Microsoftの責任あるAI責任者Sarah Birdは、評価はシステムが組織の基準を満たしているかを理解するために「絶対に重要」であり、信頼性の高いシステムには「アプリケーション固有の多くの次元を評価すべき」と述べた。ASERTは構築時、デプロイ後、継続的な監視の段階で使用可能。

この発表は、モデルが高度化するにつれ、研究者が反復的テストと回帰チェックに焦点を当てる業界全体の広がりの一環。StanfordのHELM、MLCommonsのAILuminate、METRなどの評価グループがモデルの異なる条件下での動作を測定するベンチマークを公開している。