技術ライターが、ChatGPTのようなAIシステムを神秘的なブラックボックスではなく、本質的には数字の巨大なグリッド（表計算シート）であると説明している。GPT-3は577個のグリッドを含み、1,750億個の数字を保有しており、最初のグリッドは単語を数値ベクトルにマッピングする辞書として機能する。「特殊な配管付き表計算シート」という比喩はAIが謎解き可能に聞こえるが、著者は、これらの数字が実際にインテリジェントな応答を生み出す理由を理解するには、数字がどのようにシステム全体を流れるかをより深く探究する必要があることを認めている。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
プログラミング経験のない執筆者が、ChatGPTのような大規模言語モデル（LLM）がどのように実装されているかを理解しようと調べ始めた。数週間の調査の結果、AIシステムは本質的に表計算シートのように配列された数字の巨大なグリッドで構成されていることを結論づけた。例えば、GPT-3には577個の「スプレッドシート」（技術用語では「テンソル」）が含まれており、合計1,750億個の数字を保有している。
なぜ重要か
この執筆者は、AIが不可解な「ブラックボックス」であるという一般的な仮定に異議を唱えている。複雑さにもかかわらず、実はLLMの内部を見ることができ、その機能を理解することが可能だと主張している。この理解が重要な理由は、AIの謎を解く取り組み（専門家と一般人の両方による）がAIを安全に保つために不可欠だと彼が信じているからである。AIが「表計算シートのように見える」という認識により、これまで抽象的だった技術が具体化され、非技術的な聴衆にとって把握可能になる可能性がある。
注目点
この執筆者の比喩はすぐに破綻する。GPT-3の最初のスプレッドシートは本質的に単語を数字のベクトルにマッピングする辞書（50,257個の単語、それぞれに12,288個の数字を割り当て）であるが、残りの576個のスプレッドシートはより複雑な数学的演算を実行し、その目的の説明にはより深い掘り下げが必要である。著者は、これを数字が実際にどのようにインテリジェントな出力を生み出すかを説明する旅の始まりとして位置づけている。
眠れぬ夜、執筆者はAIが実際にどのように見えるかを知りたいと思った。ChatGPTに説明を促し、研究論文を検索した後、彼は一見単純な結論に達した。AIは本質的に表計算シート—通常-1.0から+1.0の範囲で、特定の順序で配列された数字の巨大なグリッドである。翌朝、不安が戻った。彼は表計算シートが何であるかを知っていたが、それ以前に表計算シートが彼に知的に話しかけたことはなかった。これらのスプレッドシートは何が違うのか？この質問が、大規模言語モデルが実際にどのように機能するかについての数週間にわたる調査を開始した。調査の過程で、彼はAnthropicのCEOダリオ・アモデイの声明に遭遇した。「業界外の人々は、私たち自身が開発したAIの動作を理解していないことを知ると、しばしば驚きと懸念を感じます。」しかし、執筆者は理解が可能であること、そして実務家がこれらのシステムの機能についてますます理解していることを発見した。中核となる啓示はアーキテクチャに関するものである。ChatGPTのような現代的なAIシステムは577個の相互接続されたスプレッドシート、つまり「テンソル」の連列である。OpenAIが2020年にリリースしたGPT-3は、ChatGPTの初期の成功を支えたエンジンであり、正確に577個のこれらの構造を含み、集合的に1,750億個の数字を保有している。最初のスプレッドシートは概念的に最もシンプルである。辞書である。50,257個の単語を各々12,288個の数字のベクトルにマッピングする。ChatGPTに「dog」と入力すると、システムはその単語の行を取得する—0.06、0.07、0.10、0.12、-0.04のような数字の連列（著者が提供するGPT-2の例から）。これらの数字はバイナリコードやUnicodeではなく、「dog」の意味論的および文脈的な意味を数値形式で表す。残りの576個のスプレッドシートは繰り返されるパターンに従う。4つの正方形グリッド（12,288×12,288）が、幅広く背の高い長方形と交互に並ぶ。一緒に、6つのスプレッドシートのグループが研究者が「層」と呼ぶものを形成する。12,288という定数の寸法は意図的である。それにより、数学的演算をシステム全体を通してきちんと連鎖させることができ、AI計算を実行するチップに好まれる数32の倍数である。物理的には、スケールは驚異的である。8ポイントのフォントで印刷すると、GPT-3の最初のスプレッドシートだけでもエンパイア・ステート・ビルディングより高くなるだろう。577個のすべてのスプレッドシートをパッチワークキルトとして組み合わせると、セントラルパーク全体の5倍をカバーするだろう。GPT-4（2兆個の数字の噂があり）のパッチワークは、マンハッタン全体とブロンクスをカバーする必要がある。訓練完了後、各セル内の数字は不変である。OpenAIはそれらを変更するために、正式な「訓練」プロセスに膨大なリソースを費やさなければならない—これはプロセスは新しいモデルバージョンのリリースで頂点に達する。記事執筆時点での最新版はGPT-5.6である。執筆者の主な洞察は、「ブラックボックス」という神秘性にもかかわらず、AIの構造は認識可能であり、ますます十分に理解されているということである。すべての会話は同じ凍結された数字を流れる。変わるのはインプットだけである。これが無限に可変で、一見知的な出力を生み出すという事実は、執筆者のより深い質問を避けることができなくする。これらの数字が正確に何を表すのか、そしてそれらがどのようにその魔法を働かせるのか？
執筆者の探求は、AIシステムが公開される方法と実際にどのように機能するかについての、より広い乖離を反映している。「ブラックボックス」という表現は、AIの内部動作が未知であることを示唆する便利な言い方になっているが、執筆者はこれが少なくとも部分的には神話であること、またはひどく単純化されていることを示している。GPT-3のアーキテクチャはよく文書化されている。それは本質的に数学的構造であり、魔法ではない。577個のスプレッドシート（テンソル）がランダムに組み立てられているわけではなく、「訓練」と呼ばれるプロセスの産物であり、その後、次のモデルがリリースされて再び訓練されるまで数字は固定されている。この説明が価値あるものにしている点は、専門用語（「自己注意」、「ニューラルネットワーク」）から、より直感的な枠組み（グリッド内の数字）へと会話をシフトさせることである。著者は、GPT-4（2兆個の数字を含むと言われている）やGPT-5のような大規模モデルも同じ基本アーキテクチャで構成されており、単に圧倒的にスケールアップされていることに注目している。この洞察は、AIを理解するのに博士号は必要ないこと、要求されるのは忍耐力、好奇心、および技術専門家が却下する可能性のある単純な質問をしようとする意思であることを示唆している。著者の、AIを安全に保つために「理解する必要がある」という観察は、より広い議論を指す。謎解きそれ自体が説明責任の一形態なのである。
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
