MicrosoftがStudentSim公開

StudentSimが登場した背景には、AIチューターの開発が従来の人間によるテストを上回る速さで進んでいることがある。研究者らは、AIがうまく教えられているかを確認するには通常実際の学生が必要だが、そうした研究は遅くコストもかかり、生成AIの急速な改善サイクルに合わないと指摘する。彼らの答えは学習者側をシミュレートすることだ。実際の学習履歴から仮想学生を構築し、どれだけ実在の学生に似ているか、指示にどう応答するかで採点する。

チームは、AIが正答を出すかだけでなく、相手が理解できるように説明できるかを判断することを目標に掲げる。優れた教師は学習者に応じてアプローチを変えるため、同じ数学の問題に直面した2人の学生にはまったく異なる説明が必要になり得るという。この考え方は教室を超え、企業研修やカスタマーサポートにも広がる可能性がある。模擬の新人エンジニア、管理職、ヘルプデスク担当者、いら立った電話相手を使い、サポートAIを大規模に事前テストできる。

論文が示すより広い意味は、AIがAIを評価する方向への転換だ。AIエージェントがより多くの仕事を担うにつれ、すべてを人手で確認するのは非現実的になる。研究者らは、仮想学生がAI教師を、仮想顧客がAIサポートエージェントを採点し、最終的にはAIエージェントを監査するAIが生まれると示唆する。リスクも明確に指摘する。AI同士の評価への過信、模擬学習者と実在の学習者との不一致、偏った評価者が誤りをシステムの連鎖に流すこと、採点者を攻略するよう学習するエージェントだ。対策として人間による監査と説明可能性を提案する。