Linux財団傘下の団体が、AIシステムに最適化した新しい文書形式「DocLang」の開発を推進しており、既存フォーマットよりトークン消費を大幅に削減できると主張しています。

何が起きたか：LF AI & Data Foundationが、IBM、NVIDIA、Red Hat、ABBYY、HumanSignal、Forgisの創設メンバーとともに、DocLangという新しい文書形式の標準化に向けた作業グループを設立しました。DocLangは、PDF、Markdown、HTML、LaTeXといった既存フォーマットに代わる、AI向けに最適化された文書形式です。

なぜ重要か：PDFなどの既存フォーマットをAIモデルに読み込ませる際、構造や意味の情報が失われ、モデルの精度が低下しトークン（AIが処理する文字単位）の消費量が増えるため、企業のAI導入コストが膨らむ傾向があります。DocLangはこの課題を解決し、処理コストと精度の向上をもたらす可能性があるとみられます。

注目点：ABBYYのベンチマーク試験によると、IBM の2025年次報告書をDocLang形式で提供すると、PDF版の8,421入力トークンと512出力トークンから5,310入力トークンと498出力トークンに削減され、処理時間も4.2秒から2.7秒に短縮されました。同グループはさらなる企業や技術提供者の参加を呼びかけています。