GPT-OSS-20B、多言語推論をSFTで改善

ベースのGPT-OSS-20Bには強い英語の事前傾向がある。フランス語、ドイツ語、スペイン語、イタリア語で推論するよう求められても、それを認めた上で思考の連鎖を英語で生成してしまう。これはプロンプトの問題ではなく能力の欠如であり、SFTが任意ではなく必要だった理由でもある。50件のテストケース全体で推論言語の正しさを22%から100%へ引き上げた。

残った難点は最終回答だった。短く、英語の事前傾向が最も強い部分だ。SFTは回答言語の精度を62%にし、GRPOに明確な目標を残した。GRPOは推論を100%に保ったまま回答言語を70%に改善した。+8ポイントの利得は、モデルが既に時々出せていた行動を強化したことによる。

2つのタスクでのQwen2.5-7Bの対照実験がこのパターンを裏付けた。GRPOは伸びしろのあった多言語推論で+6ポイントを加えたが、既に90.5%だったGSM8Kでは利得がなかった。実務上の判断基準は、欠けている行動にはSFTを使い、望む行動が時々正しく、改善の余地があると評価が示した場合にのみGRPOを適用することだ。