
何が起きたか
Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開。LLMが人間アノテーター間で共有されるシグナルを保持しているかを検証する。
なぜ重要か
LLMによる人間アノテーターの代替が正当化されるのは良くても半分程度にとどまる。ラベリングをLLMに頼るチームは、自明視せずタスクごとに妥当性を検証する必要がある。
誰に効くかLLMを使ってデータセットのラベリングや評価を行うデータサイエンス・研究チームが影響を受ける。この検定により、自らの特定タスクでLLMが人間アノテーターの代わりになるかを確認できるようになるからだ。
こういう要約が、毎朝あなたのメールに届きます。
AltRA-Testは、全項目を同一のアノテーターがラベリングすることを要件とした先行のAlt-Testを発展させたものだ。新版ではこの要件を撤廃し、大規模クラウドソーシングデータセットに典型的な雑多なアノテーター部分集合にも適用できるようになったと著者らは述べている。手続きはブートストラップを実行し、項目を再サンプリングして人間のアノテーションパネルを抽出し、そのうち1つをLLMのアノテーションで置き換えて、全人間パネルと人間・LLM混合パネルのペアを作る。LLMが人間アノテーター間で共有されるシグナルを保持している場合に代替が支持される。テキスト、画像、音声、動画にわたる20のデータセットで18のLLMと5つのプロンプティング手法を試したところ、合格率はタスクによって大きく異なり、代替が常に正当化されるわけではないため、著者らは研究者に自らのタスクで代替を検証するよう促している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
11月19日のarXiv論文で、ICLRの批判重複率が2026年の12.0%から2027年は21.3%に上昇し、LLM使用と判定されたレビューは非判定より4.5ポイント高かった

フィードは2026年11月17日、AI調査、質問設計、ページ書き換え、構造化データやllms.txtの技術実装、流入と問い合わせの計測までを担う「マルゴトLLMO」の提供を開始した

Co-Labo AIが2026年11月20日、製造業の管理職・経営層向けにオントロジー解説全3回の初回を公開した

AWS AIプラクティショナー試験のタスク1.2対策として、入力が画像・動画ならCV、テキストならNLP、数値の推移なら時系列予測という3つの見分け軸と、キーワード別の早見表が公開された

物理科学・生命科学・工学の52の実験課題で、Claude Fable 5.2が13エージェント中首位の45.0、Claude Opus 5.5が40.2、GPT-6.1-solが31.7だった

MetaのAIアシスタントMuseは、フォローバックしないInstagramアカウントを一覧化しフォロー解除できる
