Xaira、遺伝子治療AIを30倍スケーリング

Ci Chu（最高発見責任者）とBo Wang（最高AI科学者）が率いるXaira Therapeuticsは、遺伝子が編集または医薬品で標的化されたときに人間の細胞に何が起こるかを予測するために設計されたAIモデルX-Cellを発表した。このモデルはChu氏とBoのチームが実施したCRISPR実験のデータセットX-Atlasで訓練された。これらの実験は並列で数百万のテストを実行し、各テストは単一の遺伝子を変更した場合の効果を単離し、研究者が上流および下流の遺伝子相互作用をマップし、因座関係を決定できる。これは従来の観察的アプローチを大きく上回るものである。

このプロジェクトは具体的な問題から生まれた。Chan Zuckerberg Instituteが構築した1億6800万細胞のデータベースであるCELLxGENEで訓練された初期のAIモデルは、どの遺伝子がどの細胞型と状態で発現しているかを説明できたが、遺伝子撹乱の結果を予測することはできなかった。CELLxGENEは細胞ごとに約2万～3万個の遺伝子の発現カウントをマップし、1億6800万細胞それぞれの詳細なメタデータを含む。約4兆エントリの行列であり、RNA発現モデルの多くにインスピレーションを与えている。Bo Wangはこれらのモデルの中で最も影響力のあるものの1つであるscGPTを構築し、X-Cellの出発点となった。問題は、遺伝子発現の変化は高度に相関しており、観察データだけからは因座関係を決定することがほぼ不可能だということだった。

スケーリング制限は明らかだった。単一の小さなデータセットで訓練されたXairaの初期の31億パラメータモデルは、訓練損失が続く一方でテスト損失が横ばいになるプラトーに達した。これは情報不足の特徴である。「この壁を超えてパフォーマンスを改善するには、パラメータも計算もできない」とチームは発見した。「遺伝子発現の変化を予測するには、より情報豊富なデータが必要である」CRISPR撹乱を通じた因座実験データを収集することで、約30倍多くの情報を生成し、チームはその壁を突き破った。モデルはパラメータと訓練計算の両方でスケーリングを続けることができるようになった。この取り組みは、データ収集とインフラストラクチャに数千万ドル、さらに計算、人員、研究に数百万ドルのコストがかかったと考えられる。これは従来の事前訓練ではなく、強化学習ロールアウトに似た予算構造である。

X-Cellは検証で自己回帰訓練を放棄して拡散に転向し、従来のRNA発現モデルをすべて上回った線形ベースラインを上回ることを実証した。チームは実際の人間細胞の実験室実験への一般化を報告しているが、その検証の詳細はポッドキャスト全体で見られる予定である。このアプローチは、AI駆動の医薬品開発の戦略転換を表している。Xairaは、モデルサイズだけをスケーリングするのではなく、遺伝子発現の変化の原因となるデータである因座情報が、医薬品の有効性と毒性を予測するための制限要因であると賭けている。

Xairaの研究を推進する中心的な洞察は、遺伝子発現モデリングにおける相関関係と因座関係の区別である。CELLxGENEで訓練された従来のAIモデルは、どの遺伝子がどの細胞で発現しているかを捉えられるが、遺伝子が撹乱されたときに何が起こるかを確実に予測することはできない。遺伝子発現の変化は高度に相互依存しており、観察データだけから因座方向を逆算することはほぼ不可能だからである。Xairaの解決策は、CRISPRを使って一度に1つの遺伝子を撹乱する実験データを収集し、数百万の並列テストを実行して因座関係を明示的にエンコードするデータセットを構築することである。この因座データが瓶首であることが判明した。チームの初期モデルは31億パラメータで平坦化したのは、小さく相関的なデータセットがその情報内容を使い果たしたからだが、データを約30倍スケーリングすることでパラメータと計算が増加するにつれて改善が続いた。これは、モデルが容量ではなく以前は情報不足だったという古典的な信号である。Chuを最高発見責任者に、Wangを最高AI科学者に昇進させたことは、Xairaがこのデータ中心で因座モデリングのアプローチを長期的な医薬品発見戦略の中心と見ているのを示す。

まだコメントがありません。最初のコメントを投稿しましょう！