論文を読む「Online Model Distillation for Efficient Video Inference」⑤

背景

「蒸留（Distillation）」に関して、論文"Ravi Teja Mullapudi, Online Model Distillation for Efficient Video Inference."を読む。

2. Related Workの途中までまで読んだところ、蒸留とは、「何でも理解できるが重いネットワークよりも、実運用を考慮して特定の対象に特化させることで軽いネットワークを作る手法」と理解。
しかし、問題は「特定の対象」を何にするか、が難しいこと。そこで本論文は「特定の対象」あらかじめ準備して訓練するのではなく、「オンライン」で訓練する方法を提案している。
従来手法はモデル圧縮（model compression）であり、これを「オンライン」訓練にする。しかし、「オンライン」訓練にも問題はあるという。

今日は2. Related Workの続きから。

2. Related Work-3

Google翻訳した上で、自分の理解しやすいように修正する。

追跡（Tracking）：

伝統的なオブジェクト追跡方法[22, 14, 17]および深い特徴階層上に構築されたより最近の方法[30, 49, 19, 34]は、ビデオからの外観モデルの迅速なオンライン学習の一形態として見ることができる。

追跡は、セグメンテーションマスクではなくバウンディングボックスを使用してオブジェクトをパラメータ化し、追跡されるオブジェクトの数によって複雑さのコストが増加する。

我々のオンライン蒸留アプローチは、ピクセルレベルのセマンティックセグメンテーションに焦点を当てており、パフォーマンスの課題の異なるセットを提起している。それは個々のオブジェクトではなく、シーン全体の外観モデルを学習していると見なすことができる。

追跡とは

• オンライン学習の一形態
• バウンディングボックスを使用
• オブジェクトの数によってコスト増

提案手法の違い

• ピクセルレベルセマンティックセグメンテーション
  • 個々のオブジェクトを学習しない

コンパクトモデルの素早い再学習（Fast-retraining of compact models）：

我々の研究の基本的なテーマは、広く一般化されていない低コストモデルが、新しい分布へすばやく再訓練されるならば、有用であるということです。

したがって、我々の考えは、カテゴリの歪みに対するオンライン適応[42]および画像超解像のためのオンザフライモデル訓練[1]を介してビデオにおける画像分類を加速する最近の研究と類似している。

提案手法の基本的な考え方

• 汎用でなくても、すばやく再訓練できるなら有用

この考え方における類似研究

• カテゴリの歪みに対するオンライン適応[42]
• 画像超解像のためのオンザフライモデル訓練[1]

まとめ

関連研究を列挙してもどうしようもないな。
2. Related Workは飛ばして3. Just-In-Time Model Distillationに進むとしよう。もしこれ以降に2.に戻る必要がありそうなら改めて戻るということで。