GitHubが多言語開発者向けコンテンツのデータセットを公開し、英語以外の言語でのソフトウェア開発の実態をAI開発者や研究者が分析できるようになりました。

何が起きたか：GitHubがGitHub Multilingual Repositories Datasetを公開しました。このデータセットは4,000万以上のリポジトリのメタデータを含み、READMEやissue、pull requestにおける非英語の自然言語コンテンツを識別しています。言語分布はテキストの種類によって異なり、issueではコリア語が最も多い非英語言語である一方、READMEではポルトガル語が3百万以上のリポジトリで最も一般的です。

なぜ重要か：AIがソフトウェア開発の重要な部分になる中で、多言語開発者向けのコンテンツはますます重要になっています。現在、多くのヨーロッパ言語はAIシステムの構築・評価に使われるオンラインテキストで過小評価されており、このため一部の開発者や言語では機能が悪い可能性があるとみられます。このデータセットにより、研究者やモデル構築者がソフトウェア開発における言語表現のギャップを特定し、より包括的なAIツールを構築する支援が可能になると考えられます。

注目点：データセットはCC0-1.0ライセンスの下でGitHub上で公開されており、誰でも利用できます。Microsoft European Digital Commitmentsの2025年の約束の一環として、オープンソースAI開発者を含む研究者や開発者が多言語データにアクセスしやすくするために設計されています。