
何が起きたか
AMD と Qualcomm が相次いで新しいメモリ・パッケージ技術を発表し、Nvidia が SK Hynix との HBM 供給契約を2030年まで確保しました。これらは、GPU の計算性能の伸びがメモリ帯域幅の伸びに追いつかない現象に対応するものです。
なぜ重要か
2007年に Linux カーネル開発者 Ulrich Drepper が指摘した「メモリの壁」という課題が、現在の AI 開発でも同じ形で現れています。大規模言語モデルの学習・推論では、毎秒数百万回、ギガバイト単位の重み付けをメモリから GPU に移動させる必要があり、この転送がボトルネックとなっているとみられます。
注目点
H100 の納期は36~52週間に達しており、2026年にはデータセンターが生産されるメモリチップ全体の70%を消費する見通しです。FlashAttention などのソフトウェア最適化や Llama・Phi・Mistral といった小規模言語モデルの台頭は、この メモリ制約への対応として位置づけられます。
こういう要約が、毎朝あなたのメールに届きます。
AI インフラストラクチャをめぐる近年の議論は GPU の計算性能(TFLOPS)の不足に焦点が当てられてきました。しかし記事が指摘するように、実際のボトルネックはメモリ帯域幅にあります。計算速度とメモリ転送速度のギャップは、マトリックス乗算といった核となる演算が安価になる一方で、その演算に必要なデータの移動が高コストになるという形で現れています。
このジレンマへの対応は二つの方向から進んでいます。一つは FlashAttention のようにソフトウェアレベルでメモリアクセスの局所性を高め、GPU のオンチップ SRAM に長くデータを保持する最適化です。もう一つは、大規模モデルをそもそも小さくして既存ハードウェアのキャッシュ階層内に収まるようにする戦略で、Llama や Phi といった生態系の成長を説明しています。AMD と Qualcomm による新しいメモリ・パッケージ、Nvidia による長期供給契約は、いずれもこの物理的制約に対するハードウェア側からの反応といえます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へ美団、兆パラメータAIモデルを中国で開発・公開 国産インフラ活用