AIToday
大規模言語モデルZenn AI/ML掲載日時: 2026年11月21日 4:00

Claude Opus 5.5が勾配降下なしでARC50.79%

LINEで送る
Claude Opus 5.5が勾配降下なしでARC50.79%

3つのポイント

  1. 何が起きたか

    公式ハーネス上でClaude Opus 5.5が勾配降下もフォワード呼び出しもなしにARCモデルを書き、3,530問のテストセットで50.79%を記録した。論文の50.8%とほぼ一致する。

  2. なぜ重要か

    論文の数値をほぼ正確に再現したことで、この手法が一度限りのものではなく再現可能だと示唆される。Opusは約45分と245,034出力トークンをかけて知識ベースと検索手順を構築した。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

POSTECHのHyunjong Ok氏とJaeho Lee氏による論文Weight-Space Programming Doesn't Need Transformers(arXiv 2611.22055)は、勾配降下で学習させるのではなく、フロンティアLLMにモデルの重みを直接書かせる手法を提案している。ハーネスのルールでは、書き手はARCの例を10個(ARC-Easy 5個、ARC-Challenge 5個)だけ見て、vocab.txt、build.py、arch.py、NOTES.mdを提出する。arch.pyはif/while分岐もPython側での値抽出もない固定テンソルプログラムでなければならない。今回の再現で得た50.79%は、Claude Opus 5.5の第一世代自由設計モデルについて論文が報告した50.8%とほぼ一致する。リポジトリに同梱されたモデルをharness.score_modelで再採点すると50.80%となり、保存済みの結果と全項目で一致した。

主要な数値以外に、書き手は実務上の摩擦も記録している。ツール絡みのハーネス障害が3件あり(/tmp配下のvenvがtmpfsオーバーレイで隠れる、UnixソケットのパスがLinuxの約108バイト上限を超える、ホームディレクトリ配下のvenvがセルフテストに引っかかる)、venv・データ・Hugging Faceキャッシュをすべて/opt/wsp配下に置くことで解決した。別の比較は、結果が労力の規模にどれだけ依存するかを示す。ハーネス外で書かれた小規模モデルは155個の事実文と185,641個の重み(非ゼロ3,922個)で、テストセット31.33%、検証28.51%だった。ハーネス内のOpus版は50.79%と51.10%である。どちらもフォワード呼び出しはゼロだったため、この差は追加の試行ではなく、書かれた知識の量と検索手順の洗練度を反映していると考えられる。ただしこれは筆者の解釈である。

よくある質問
LLMが書くモデルとは具体的に何か?
筆者のNOTES.mdによると、Opusは4,071行の手書き科学知識ベースを構築し、固定手順で検索する仕組みにした。重みは995,784個で、うち714,879個が非ゼロ。
なぜ実行は完了前に止まったのか?
改善作業の途中でClaudeの5時間利用上限に達した。ハーネスはその時点でモデルを採点し、結果を有効と記録した。
ハーネス内で書かれた版と外で書かれた版の比較は?
ハーネス外で書かれた版は155個の事実文をidf重み付きbag-of-wordsとコサイン類似度で構築し、ARCテストセットで31.33%だった。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Oxide創業者、4億4500万ドル調達しAI計算の自社保有に自信

Oxide Computer Co.は10月に4億4500万ドルを調達し、大規模企業が自社コンピュータを保有したがるという考えの上に事業を築いてきた、とBryan Cantrill氏がSC26でtheCUBEに語った

NEWSiliconANGLE AI1時間前

OpenAI、モデル転売業者に審査・承認を義務付け

OpenAIは、同社のAIモデルへの第三者アクセスを提供するゲートウェイやルーターについて、同社による審査と承認を義務付けた

NEWSemafor Tech1時間前

ベテランの暗黙知は手順書との差分にあり

Hiromi氏のZenn記事が、日常の作業記録を起点に手順書との差分だけを問う設計「Continuous Reasoning Acquisition(CRA)」を、架空の充填No.2事例で解説した

NEWZenn AI/ML1時間前

米大手テック、生成AIの競争軸を代行力に移す

米大手テック企業が生成AIの競争軸を回答の質からエージェント能力へ移しており、アマゾンの配達通知、グーグルのパスキー通知、契約返信メールの下書きがその例として示された

NEWNikkei AI Stocks1時間前

ICLRの査読重複率、12.0%から21.3%に上昇

11月19日のarXiv論文で、ICLRの批判重複率が2026年の12.0%から2027年は21.3%に上昇し、LLM使用と判定されたレビューは非判定より4.5ポイント高かった

NEWAI Weekly4時間前

Google Research、LLMの人間代替を検証する統計テスト

Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開

NEWAI Weekly4時間前
次の記事へ米大手テック、生成AIの競争軸を代行力に移す