
Microsoftが火曜日、ASSERT(Adaptive Spec-driven Scoring for Evaluation and Regression Testing)という名称のオープンソースフレームワークを発表。AIモデルの期待される動作をプレーンテキストで記述すると、それを構造化された受け入れ可能/受け入れ不可の動作に変換し、問題シナリオとテストケースを生成して、ターゲットシステムに対して実行・スコア付けを行う。
開発者は自然言語でAIシステムの目標、ポリシー、意図した動作を説明でき、ASERTが自動的にテストを生成。例として、文書調査AIエージェントが社外の人にメール送信しない、機密情報をC級経営者のみに制限するなどのルールを指定すると、ASERTがそのルールの遵守をチェックするテストケースを継続的に生成する。
Microsoftの責任あるAI責任者Sarah Birdは、評価はシステムが組織の基準を満たしているかを理解するために「絶対に重要」であり、信頼性の高いシステムには「アプリケーション固有の多くの次元を評価すべき」と述べた。ASERTは構築時、デプロイ後、継続的な監視の段階で使用可能。
この発表は、モデルが高度化するにつれ、研究者が反復的テストと回帰チェックに焦点を当てる業界全体の広がりの一環。StanfordのHELM、MLCommonsのAILuminate、METRなどの評価グループがモデルの異なる条件下での動作を測定するベンチマークを公開している。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
llama.cppがバージョン1.0となり、--moe-cache-cpu-shareを導入

暫定CEOコレット・クレス氏はNvidiaのオープンソースAI関与継続を述べ、OpenRouterの週間トークン量が前年比35倍に急増したとし、129億ドルのHugging Face買収が予定通りと確認した

Zennのガイドが、CLIP系モデルで画像とテキストを同じベクトル空間に写し、自然言語で個人の写真・動画ライブラリを検索する実装方針を公開

開発者が~/.claude/skills/に保存していた個人用スキル群から学籍番号や教師名、PCパスを削除し、他者が導入できる公開GitHubリポジトリとした

OpenWorkerをローカルのQwen2.5で試したところ、7B、14B、32BがREADMEのタスクをそれぞれ5回中1回、3回、0回完了した

SenseNovaがHugging FaceでSenseNova-Loop-9BをApache 2.0で公開
