AIToday
大規模言語モデルTHE DECODER掲載日時: 2026年7月3日 22:01

OpenAIのGPT、Claudeが金融文書評価で低迷 ファインチューニングモデルが圧倒

LINEで送る
OpenAIのGPT、Claudeが金融文書評価で低迷 ファインチューニングモデルが圧倒

3つのポイント

  1. 何が起きたか

    Bridgewater傘下のAIA LabsとThinking Machines Labが、金融文書の関連性判定タスクでOpenAIやGoogleのフロンティアモデルを試験したところ、基本的なプロンプトでは約50%の精度に留まりました。一方、専門家が作成したプロンプトと3段階評価システムを組み合わせると精度は70%台半ばに上昇しましたが、著者らが設定した80%の信頼できるデプロイメント基準には達しませんでした。

  2. なぜ重要か

    Bridgewater傘下の投資家の判断を使ってファインチューニング(再学習)したオープンウェイトモデルが84.7%の精度を達成し、最高のフロンティアモデルの78.2%を上回ったうえ、実行コストは約14倍安くなりました。これは大手AIラボが企業の機密データや専門知識をすべて取り込んでいないことを示唆しており、自社データを保有したまま改善する道筋が存在することを意味します。

  3. 注目点

    ファインチューニングはThinking Machines Labの「Tinker」プラットフォーム上で行われ、オープンモデルのQwen3-235Bをベースに使用しました。同社はOpenAIの元CTO Mira Muratiが創業した企業です。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問
フロンティアモデル(GPT、Claude等)は金融文書評価でどの程度の精度でしたか?
基本的なプロンプトでは約50%の精度でした。専門家が作成したプロンプトと3段階評価システムを導入すると精度は70%台半ばに上昇しましたが、著者らが設定した80%の基準には達しませんでした。
どのモデルを改善に使いましたか?
オープンウェイトモデルのQwen3-235Bを、Thinking Machines LabのTinkerプラットフォーム上でファインチューニングしました。
ファインチューニングの成功の鍵は何でしたか?
外部の安い委託業者によるラベル付けには多くの誤りがありましたが、研究者は最初のモデルから異なる結果が出た箇所だけを投資家に検証させることで、全件査読の負担を避けました。その投資家の判断がファインチューニングの重要な素材になりました。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へトランプ大統領22億ドル収入、経済学者が「ビッグプレーヤー理論」指摘