1930年までのテキストで学習した「Talkie」という13Bパラメータ言語モデルが、蒸気船と鉄道で結ばれた2026年の世界を予測

Nick Levine、David Duvenaud、Alec Radfordらが開発したTalkieは、1930年12月31日以前に出版された書籍、新聞、学術誌、特許、判例から260 billion トークンで学習した13Bパラメータモデル。開発者によると、現在までで構築された最大の『ヴィンテージ言語モデル』である。

訓練データに意図的に1930年以降の情報を除外することで、データ汚染がない状態を実現。ただし1925年の書籍の後年の前書きや更新されたカタログなど、不意の後発情報の混入に対応するため、より良い分類器を将来のバージョンで予定している。

2026年についての質問に対し、モデルは蒸気船がロンドンとニューヨークを10日で結ぶこと、鉄道がヨーロッパ全域を網羅することを予測。第二次世界大戦の可能性については、『1914-1918年の狂気は過ぎ去った』と述べて起こらないと判断している。

開発チームは夏2026年までにGPT-3レベルのモデルへのスケールアップを計画しており、歴史的テキスト資料で1 trillion トークン以上の規模まで拡張できると見積もっている。HuggingFaceとGitHub上でベースモデルとチャット版が利用可能。