極小LLM、57万パラメータで18000字が反復

このプロジェクトは当初からチュートリアルではなく実験の記録として位置づけられ、作者は外部コードライブラリなし、CPU単一スレッド、全て自己完結という三つの厳しい制約を設けた。CPU制限の理由は、並列処理ではLLMの仕組みの研究がぼやけるためと説明し、ゼロから作るルールは好奇心と、これほど削ぎ落とした構成を対象とする既存ライブラリがないことを反映していた。

モデル自体は意図的に単純で、3層、シグモイド活性化、argmaxによるトークン選択を採用し、平均二乗誤差を用いた誤差逆伝播と勾配降下で学習する。初期結果は短い入力での記憶が機能することを示したが、学習テキストが増えると出力は文字の繰り返しに劣化し、作者はこれを16トークンのコンテキストと、繰り返しを抑制しない評価方法に関連づけている。

ここでの関心は商業的ではなく個人的なものだ。作者はこの作業を好奇心主導の約2日間と述べ、重み行列を1.0で初期化したことや日本語文字を十分に見られない短すぎるコンテキストなど、列挙した失敗は、作るつもりだと語る次期モデルに活かせる実践的な教訓だ。