
何が起きたか
公式ハーネス上でClaude Opus 5.5が勾配降下もフォワード呼び出しもなしにARCモデルを書き、3,530問のテストセットで50.79%を記録した。論文の50.8%とほぼ一致する。
なぜ重要か
論文の数値をほぼ正確に再現したことで、この手法が一度限りのものではなく再現可能だと示唆される。Opusは約45分と245,034出力トークンをかけて知識ベースと検索手順を構築した。
こういう要約が、毎朝あなたのメールに届きます。
POSTECHのHyunjong Ok氏とJaeho Lee氏による論文Weight-Space Programming Doesn't Need Transformers(arXiv 2611.22055)は、勾配降下で学習させるのではなく、フロンティアLLMにモデルの重みを直接書かせる手法を提案している。ハーネスのルールでは、書き手はARCの例を10個(ARC-Easy 5個、ARC-Challenge 5個)だけ見て、vocab.txt、build.py、arch.py、NOTES.mdを提出する。arch.pyはif/while分岐もPython側での値抽出もない固定テンソルプログラムでなければならない。今回の再現で得た50.79%は、Claude Opus 5.5の第一世代自由設計モデルについて論文が報告した50.8%とほぼ一致する。リポジトリに同梱されたモデルをharness.score_modelで再採点すると50.80%となり、保存済みの結果と全項目で一致した。
主要な数値以外に、書き手は実務上の摩擦も記録している。ツール絡みのハーネス障害が3件あり(/tmp配下のvenvがtmpfsオーバーレイで隠れる、UnixソケットのパスがLinuxの約108バイト上限を超える、ホームディレクトリ配下のvenvがセルフテストに引っかかる)、venv・データ・Hugging Faceキャッシュをすべて/opt/wsp配下に置くことで解決した。別の比較は、結果が労力の規模にどれだけ依存するかを示す。ハーネス外で書かれた小規模モデルは155個の事実文と185,641個の重み(非ゼロ3,922個)で、テストセット31.33%、検証28.51%だった。ハーネス内のOpus版は50.79%と51.10%である。どちらもフォワード呼び出しはゼロだったため、この差は追加の試行ではなく、書かれた知識の量と検索手順の洗練度を反映していると考えられる。ただしこれは筆者の解釈である。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Oxide Computer Co.は10月に4億4500万ドルを調達し、大規模企業が自社コンピュータを保有したがるという考えの上に事業を築いてきた、とBryan Cantrill氏がSC26でtheCUBEに語った
OpenAIは、同社のAIモデルへの第三者アクセスを提供するゲートウェイやルーターについて、同社による審査と承認を義務付けた

Hiromi氏のZenn記事が、日常の作業記録を起点に手順書との差分だけを問う設計「Continuous Reasoning Acquisition(CRA)」を、架空の充填No.2事例で解説した

米大手テック企業が生成AIの競争軸を回答の質からエージェント能力へ移しており、アマゾンの配達通知、グーグルのパスキー通知、契約返信メールの下書きがその例として示された

11月19日のarXiv論文で、ICLRの批判重複率が2026年の12.0%から2027年は21.3%に上昇し、LLM使用と判定されたレビューは非判定より4.5ポイント高かった

Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開
