AIToday
大規模言語モデルAIコーディングThe Batch (Andrew Ng)掲載日時: 2026年11月4日 22:00

エージェント評価の講座を公開

LINEで送る
エージェント評価の講座を公開

3つのポイント

  1. 何が起きたか

    DeepLearning.AIが「Evaluating and Improving Agentic Applications」を公開。

  2. なぜ重要か

    開発者は誤ったツール呼び出しなど気づきにくいエージェントの失敗を捉え、変更が実際に性能を向上させたか検証する手法を得られる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

このコースは、リクエストを解釈し、意思決定し、行動を起こすAIシステムであるエージェントが従来のテストの前提を揺るがす中で登場した。エージェントが誤ったツールを呼び出したり必須のステップを飛ばしたりして失敗しても、その失敗は必ずしも明白ではなく、エージェントの信頼を難しくしている。評価(Evals)を使えば、開発者は明確な「良好な行動」の定義に照らしてエージェントの意思決定と行動を測定できる。従来のテストはコードが動くことしか確認できない。

カリキュラムは評価プロセス全体をたどる。トレースを読んで各ステップのモデル呼び出しとツール呼び出しを検査し、再利用可能なベンチマークを構築し、頻度と潜在的な害に基づいて繰り返し発生する失敗を優先順位付けする。さらに、明確な合否ルールにはコード評価器、解釈を要するチェックにはLLM審査員を使って評価を自動化し、その結果でエージェントのバージョンを比較し、本番の失敗を新たな回帰テストに変える方法も扱う。

コースはオープンソースのPhoenixプラットフォームを手がけるArize AIとの提携で作られた。Pythonの読み書きに抵抗がなく、pandasの基本を理解し、LLM APIを呼び出した経験があることを前提とする。ツール呼び出しの知識があると役立つが必須ではなく、評価・トレーシング・統計の事前経験は不要だ。

よくある質問
講師は誰ですか?
Arize AIで開発者リレーションズ責任者を務め、npmの共同創設者でもあるLaurie Voss氏が教えます。
コースではどのツールを使いますか?
受講者はArize Phoenixとオープンソースのトレーシングツールで評価スイートを構築します。
コースの料金はいくらですか?
DeepLearning.AI Proメンバーシップは年払いで月額25ドル、月払いで月額30ドルです。
The Batch (Andrew Ng)元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey3時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey3時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog3時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly3時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI3時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI3時間前
次の記事へGoogle検索収入の伸び12%に減速