AutoMLで車の損傷分類、hood信頼度0.53

当記事は、Google Skillsのラボ「Identifying Damaged Car Parts with Agent Platform for AutoML Vision Users」を自分のGoogle Cloudプロジェクトで最後まで実行し直した記録である。ラボは一時プロジェクトで時間内にトレーニングが終わらないため、予測は別プロジェクトのモデルにCloud Runのプロキシ経由で送る構成になっている。当記事ではトレーニングを完了まで実行し、ラボでは確認できない評価指標と混同行列まで扱っている。

データはGoogle提供のサンプル画像で、CSVはTRAIN 65枚、VALIDATION 20枚、TEST 15枚の3列構成。インポート時にランダム分割は行われず、TESTの15枚は学習に一切使われない。評価ではPR AUC 0.946、しきい値0.5で適合率・再現率とも90%だったが、hoodのみPR AUC 0.833で一部がbumperと誤判定された。ボンネットとバンパーはどちらも車の前部で構図が似ており、各ラベル20枚という少なさが区別を難しくしていると考えられる。

運用面では、コンソールからのデプロイが専用リソースを要求し失敗する点、maxPredictions: 1が最も確からしいラベルを返すとは限らない点、トレーニングが完了予定1時間に対し実際は1時間48分かかった点など、実務でつまずきやすい落とし穴が具体的に示されている。データ量と質が精度を決めるという前提に立ち、実運用の可否はラベルごとのデータを推奨水準まで増やせるかどうかにかかっているとみられる。