軽量モデルを動的ルーティングする画像分類システムを解説

記事はこのアプローチを、2つの一般的な課題への対応として位置づけている。高性能GPUなしで巨大モデルを学習・微調整するコストと、新しいクラスやデータが届くたびにモデル全体を再学習する難しさだ。完璧なクラスタやエキスパートを事前に設計するのではなく、まずベクトル空間の粗いグループ分けから始め、データが流れ込むにつれて小さなCNNを成長させる。

MNIST訓練画像6万枚でのストリーミングシミュレーションでは、モデルがオンザフライで生成され、cluster_001からcluster_010までの各クラスタが約3,000枚ずつ蓄積し、98.7%や99.4%といったクラスタ別精度を報告している。テスト評価では不確実性フィルタを追加し、類似度閾値を下回るサンプルはクラスに押し込めずUnknownとして返す。

投稿者はこれを、1つの巨大モデルを学習する代わりとなる実用的な選択肢と位置づけ、追加学習はシステム全体ではなく該当クラスタのモデルのみに触れると述べている。試作はMNISTに限定されており、より複雑な画像データへの拡張性は未知数だ。