Microsoft、合成企業データでCopilot評価

Microsoftはこの取り組みを、解くべき課題として掲げたある緊張関係の上に位置づけている。企業規模の評価には実組織と同程度に複雑なテストデータが必要だが、実際の企業データはどのような状況でも評価には使えない、というものだ。基盤の答えは、手作業で整備した小規模なテストフィクスチャに頼るのではなく、テナントと呼ばれる本格規模の合成ワークスペースを生成することにある。環境を現実的に保つため、Microsoftは公開情報に基づかせた。米労働省のO*NET職業データ、オンライン求人情報、SEC提出書類で、いずれも法務・ポリシー部門が審査し承認したとしている。

合成環境は時間の経過とともに進化するよう設計されており、会議履歴やプロジェクトのタイムライン、メールスレッドが数週間にわたって展開する。Microsoftはこの時間的構造が重要だと主張する。Copilotの問い合わせの多くは、先週木曜にチームが何を決めたかといった時間を意識したものだからだ。環境に加え、自動化された6段階のパイプラインが一般的な職場タスクを業界特有の問い合わせに変換し、社内の意味論的評価フレームワークが構造的忠実性、文脈的関連性、行動的現実性、コンテンツ安全性の観点で品質を採点する。

Microsoftによると、複合品質指標は初期の生成手法と比べて39%改善し、一部の業界別環境では1.0満点中0.9超を記録した。また基盤はチーム間での再利用に向けて社内共有カタログに公開され、Microsoft Copilotの初の標準評価ベースラインとして位置づけられた。今後の課題として挙げているのは、マルチターンのエージェント的インタラクションの評価と、数カ月から数年にわたる組織の動態を捉えられるよう合成環境を拡張することだ。