Qwen 3:0.6Bという小型AIモデルをファインチューニングすることで、家庭管理の質問を分類する精度が10%から79%に改善しました。

何が起きたか：個人プロジェクトとして、Qwen 3:0.6B（6億パラメータ）という小型の言語モデルを約850件の家庭関連の質問データセットでファインチューニングしました。その結果、質問を18個のカテゴリ（HVAC、プール、給湯器など）に分類する精度が、プロンプトだけの場合の10%から79%に向上しました。

なぜ重要か：ベースラインではモデルがカテゴリを幅広く誤分類したり、許可されていないカテゴリを作り出したりするなど、極めて信頼性が低い結果でしたが、ファインチューニングにより動作が大幅に改善されました。これは、わずか600Mパラメータの小型モデルでも、適切なトレーニングデータがあれば実用的な性能を発揮できることを示唆しています。

注目点：ファインチューニング後もなお改善の余地があり、モデルが正しいカテゴリの一部しか出力しない（例：「hvac」ではなく「ac」）、あるいは意味的に似たカテゴリ（fountain、water heater、poolなど）で混同する傾向が見られています。