GitHubが開発者向け多言語データセットを公開、英語以外のコード協力の実態を可視化

何が起きたか

GitHubが「GitHub Multilingual Repositories Dataset」を公開しました。4000万以上のリポジトリを対象に、READMEやイシュー、プルリクエストの言語分類を提供するメタデータセット（CC0-1.0ライセンス）です。データセットは3つの言語分類器の結果をすべて含み、ユーザーが精度と網羅性のバランスを自分で選べる構成になっています。

なぜ重要か

開発者のドキュメント作成やコード協力は英語が中心だと考えられがちですが、実際には言語ごとに利用パターンが異なります。たとえばポルトガル語は300万以上のREADMEで最多の非英語言語ですが、イシューではコリア語が最多です。このデータセットにより、AIツールやコード生成システムが多言語の開発者コミュニティに対応しているかどうかを研究者や開発者が検証できるようになり、言語による不平等を減らすことが〜とみられます。

注目点

Microsoft傘下のGitHubは2025年にヨーロッパデジタルコミットメントの一環として多言語データへのアクセス拡大を公約しており、本データセット公開はその実践です。6月16日にはストラスブールでOpen Innovation Dialogue Hubが開催され、政策立案者や研究者とともにこのテーマが議論される予定です。