AIToday
大規模言語モデルHacker News掲載日時: 2026年7月16日 1:00

AIは数字で満たされた表計算シート、技術ライターが発見

LINEで送る
AIは数字で満たされた表計算シート、技術ライターが発見

3つのポイント

  1. 何が起きたか

    プログラミング経験のない執筆者が、ChatGPTのような大規模言語モデル(LLM)がどのように実装されているかを理解しようと調べ始めた。数週間の調査の結果、AIシステムは本質的に表計算シートのように配列された数字の巨大なグリッドで構成されていることを結論づけた。例えば、GPT-3には577個の「スプレッドシート」(技術用語では「テンソル」)が含まれており、合計1,750億個の数字を保有している。

  2. なぜ重要か

    この執筆者は、AIが不可解な「ブラックボックス」であるという一般的な仮定に異議を唱えている。複雑さにもかかわらず、実はLLMの内部を見ることができ、その機能を理解することが可能だと主張している。この理解が重要な理由は、AIの謎を解く取り組み(専門家と一般人の両方による)がAIを安全に保つために不可欠だと彼が信じているからである。AIが「表計算シートのように見える」という認識により、これまで抽象的だった技術が具体化され、非技術的な聴衆にとって把握可能になる可能性がある。

  3. 注目点

    この執筆者の比喩はすぐに破綻する。GPT-3の最初のスプレッドシートは本質的に単語を数字のベクトルにマッピングする辞書(50,257個の単語、それぞれに12,288個の数字を割り当て)であるが、残りの576個のスプレッドシートはより複雑な数学的演算を実行し、その目的の説明にはより深い掘り下げが必要である。著者は、これを数字が実際にどのようにインテリジェントな出力を生み出すかを説明する旅の始まりとして位置づけている。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

執筆者の探求は、AIシステムが公開される方法と実際にどのように機能するかについての、より広い乖離を反映している。「ブラックボックス」という表現は、AIの内部動作が未知であることを示唆する便利な言い方になっているが、執筆者はこれが少なくとも部分的には神話であること、またはひどく単純化されていることを示している。GPT-3のアーキテクチャはよく文書化されている。それは本質的に数学的構造であり、魔法ではない。577個のスプレッドシート(テンソル)がランダムに組み立てられているわけではなく、「訓練」と呼ばれるプロセスの産物であり、その後、次のモデルがリリースされて再び訓練されるまで数字は固定されている。この説明が価値あるものにしている点は、専門用語(「自己注意」、「ニューラルネットワーク」)から、より直感的な枠組み(グリッド内の数字)へと会話をシフトさせることである。著者は、GPT-4(2兆個の数字を含むと言われている)やGPT-5のような大規模モデルも同じ基本アーキテクチャで構成されており、単に圧倒的にスケールアップされていることに注目している。この洞察は、AIを理解するのに博士号は必要ないこと、要求されるのは忍耐力、好奇心、および技術専門家が却下する可能性のある単純な質問をしようとする意思であることを示唆している。著者の、AIを安全に保つために「理解する必要がある」という観察は、より広い議論を指す。謎解きそれ自体が説明責任の一形態なのである。

よくある質問
GPT-3は実際に何個の数字を含んでいるか?
GPT-3は合計1,750億個の数字を保有しており、577個のスプレッドシート(テンソル)に分散している。最初のスプレッドシートだけで617,558,016個の数字を含む—50,257行×12,288列のグリッドである。
GPT-3の最初のスプレッドシートは何をするか?
最初のスプレッドシートは辞書である。「dog」のような単語を入力すると、その単語に割り当てられた12,288個の数字のセットを取得する。著者の例として使用しているGPT-2では、「dog」は0.06、0.07、0.10、0.12、-0.04から始まり、-1.0から+1.0の範囲の1,595個以上の数字が続く。
GPT-3はファイルとしてどれくらいのサイズか?
GPT-3はおよそ350GBであり、ハイエンドノートパソコンのハードドライブに収まるほど小さい。しかし、ほとんどのノートパソコンはそれを効果的に実行するのに十分なRAMを持っていないため、AIモデルは通常データセンターで実行される。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

次の記事へMeta幹部、AIエージェント対応に20カ月必要と警告