Unbounded Labs、1931年以前のテキストで学習したLLM「Bart」公開

Unbounded Labsは、AIを歴史的知識に基づかせるという意図的な実験としてBartを開発した。学習データを1931年以前の英語に限定することで、LLMが過去の科学者と同様の結論を独自に導き出せるかを検証しようとしており、この問いはDemis Hassabis氏から着想を得たものだ。プロジェクトの費用はわずか3か月で800ドル（800ドル）であり、小規模な予算でもこうした研究が可能であることを示している。

チームは、ヴィンテージテキストで学習させたモデルを評価するためのベンチマークが存在しなかったため、新たに作成する必要があった。彼らの詳細な報告には、コーパスの調達、クリーニング、すべてのアブレーション、トレーニング実行、ポストトレーニングが含まれており、プロセスを透明に公開している。「創造できないものは、理解したとは言えない」という言葉は、既存モデルのファインチューニングではなく、ゼロから構築するという彼らの動機を強調している。

Bartの公開は、モデルが独自のアイデアを生み出せるのか、それとも単に次のトークンを予測しているだけなのかという根本的な問いに取り組む点で、AI研究にとって重要だ。一般相対性理論は予算外だったが、このプロジェクトは、ヴィンテージ領域の探求がAIの創造的可能性についての洞察をもたらす可能性を示唆している。記事とデモにより、誰でもこのアプローチと結果を直接確認できる。