大規模言語モデル

主要ニュース

1. 1

   Gemini 3.5 Pro が数ヶ月遅延、Alphabet 株価がピークから15%下落

   Alphabet は5月に Gemini 3.5 Pro が6月にローンチされると発表していたが、フラッグシップ AI モデルは予定より数ヶ月遅れてテスト段階にある。Bloomberg の報道によると、Google はコーディング技能を向上させるため学習データを更新したが、結果は期待外れだった。同社はまだ新しいローンチ日を発表していない。 コーディングは AI ラボの主要な競争領域であり、エンタープライズ顧客が対価を払う中核サービスである。Alphabet は今年、AI インフラに最大190億ドル（約30兆円）を費やし、Gemini が最先端で競争力を保つことに賭けている。ライバルの OpenAI と Anthropic がモデルを次々リリースしている中、Google 内部の一部では Gemini に追い越されたのではないかと懸念する声もあり、モデルの遅延は懸念材料となっている。

   Alphabet は7月22日（水曜日）に第2四半期決算を発表する。主要指標は Google Cloud の成長率と Gemini 3.5 Pro のローンチ時期に関する情報開示を含む。今のところ事業は好調に見えており、Google Cloud の売上は前年同期比63%増の200億ドル（約3.2兆円）に跳ね上がり、クラウド受注残高は前四半期からほぼ倍増して460億ドル（約74兆円）を超えている。

2. 2

   Claude Codeの真の強みはハーネス

   開発者がClaude CodeのエージェントアーキテクチャをオープンソースフレームワークCrewAIで再構築し、基本的なエージェントループとClaude Codeの能力の差は、根底にある言語モデルではなく、計画、メモリ、サンドボックス、サブエージェント委譲、承認システムといった周辺機構から生まれていることを発見した。 ほとんどのチームがモデル外部にある工学的な仕事の量を過小評価している。素のエージェントループは実際のコードベースで失敗し（間違ったファイルを読む、コンテキストを失う、メモリを古い出力で満たす）、Claude Codeは軌道を保つ。モデルを「脳」（行動を決定）、ハーネスを「手」（それを実行）と分けて理解することで、本番環境で信頼性の高いコーディングエージェントを構築するために本当に必要なものが見える。

   この再構築は、2つの実際のバグと5つのテストを持つ小さなBankAccountクラスに対してテストされた。ハーネスにより、プロジェクトは3つの失敗と2つの成功から5つすべて成功へ進み、計画、サブエージェント、サンドボックスの組み合わせが、テストを編集するといった近道を使わずにエージェントがコードを正しく修正できることを示した。

3. 3

   オープンウェイトAIモデルが訓練手法により スウェーデン医学試験に合格

   研究者らは、テキストを理解・生成するAIシステムである オープンウェイト大規模言語モデルが、教師付きファインチューニング(SFT)と検証報酬からの強化学習(RLVR)という2つの訓練手法を用いて、スウェーデン医学免許試験に合格できることを実証した。 内部動作が公開されているオープンウェイトモデルは、独自の非公開システムとは異なり、専門的な職務における高度なタスクでは従来、クローズド型の商用モデルに遅れを取ってきた。今回の結果は、適切な訓練方法があれば、公開されているモデルが医学知識という重大な影響を持つ分野で職業レベルのパフォーマンスに到達できることを示しており、高度なAI能力が独自システムをコントロールする企業以外にも より広くアクセス可能になる可能性を示唆している。

   本研究成果はRedditのr/MachineLearningなど学術コミュニティに投稿された知見である。発表では、使用したモデルの具体的な名称、正確な合格率、従来のベンチマークとの比較、医学教育や免許試験への実装展開のタイムラインなどは特定されていない。

4. 4

   CS学生の進路に迷い、従来型スキルか AI時代対応か

   パキスタンのコンピュータサイエンス学部生が、Java・Spring Boot・バックエンド開発・LeetCode・システム設計といった従来型のスキル習得計画について、AI時代に本当に必要なのかという疑問をオンラインで相談しています。 兄が「AIがアプリ全体を生成できるようになる中で、深くコーディングを学ぶことの価値が減少している」と指摘したことで、学生が進路の優先順位を見直さざるを得なくなっており、FAANG志望・完全奨学金大学院進学という目標達成の戦略そのものが問われています。

   学生は「論理、問題解決、デバッグ、仕組みの理解」をもともと好きであり、プログラミング自体に興味があるという点が、単なる技能選択の問題ではなく、キャリア哲学の葛藤を示しています。

5. 5

   GPT-2の32,070トークン語彙を対話型双曲空間で可視化

   研究者がGPT-2-smallの32,070トークンの完全な語彙をポアンカレ球（双曲空間の数学的表現）内に可視化し、モデルの生のトークン埋め込みを用いて、モバイルデバイスで実行可能な対話型3Dエクスプローラーを開発した。 語彙の基礎構造は森林状であり、約2,300トークンの1つの大きな木、数百個の小さなファミリーツリー、および約6,700個の孤立したトークンで構成されている。この構造は、距離に伴って空間が指数関数的に拡大する双曲幾何学に自然に適合し、平面的な2D空間では木が歪むのに対して最適である。

   ユーザーはスマートフォンのブラウザで可視化と直接対話でき、ドラッグで回転、ピンチでズーム、タップでトークンを中央に配置して隣接関係を探索できる。これはメビウス変換であり、双曲幾何学における正規のナビゲーション方法である。