膝MRIコンペ、読影レポートをLLMでラベル化し67位

このコンテストの最大の難点は、訓練用4,407件のうち画像を読んだ専門の放射線科医がラベルを付けたのはわずか58件だったことだ。残りの症例には読影レポートのテキストしかなく、そのレポートは評価に使う専門家ラベルとは異なる基準に従っている。参加者は競技序盤、レポートの記述をそのままラベルに転記するだけでは真の陽性例の約4分の1を誤分類すると測定し、画像モデル改善の主なてこはラベル品質にあると見定めた。

この解法の要は、LLMにレポートの内容を尋ねるのをやめ、放射線科医のパネルが画像からどう判断するかを予測させることに切り替えた点だ。この捉え直しにより、専門家ラベル付き58件でのラベルのmacro AUCは0.9017に上がり、従来最良のラベルセットの0.8816を上回った。最終的な画像モデルは画像のみで訓練され、テスト時にレポートを見ることはないが、レポート由来の訓練ラベルの品質が性能に影響した。

上位チームとの差は、LLMに何を読ませたかにありそうだ。上位3チームはレポートとMRI画像の両方をLLMに読ませてラベルを構築したが、この解法はレポートのみを使った。参加者自身もLLMに画像を読ませる簡単なテストを58件で20分足らずで切り上げており、振り返ればこれが上位入賞を逃す一因になった可能性がある。