背景
「蒸留（Distillation）」に関して、論文"Ravi Teja Mullapudi, Online Model Distillation for Efficient Video Inference."を読む。
蒸留とは
蒸留とは、「何でも理解できるが重いネットワークよりも、実運用を考慮して特定の対象に特化させることで軽いネットワークを作る手法」。
問題
「特定の対象」を明確にして予め準備して訓練するのが難しい。
提案手法
そこで本論文は「オンライン」で訓練する方法を提案。
本論文の提案する手法で作るビデオの毎フレームを処理する学生モデル「JITNet」は、高解像度入力からの推論、高学習率更新での安定性が求められ、エンコーダ・デコーダに類似した、内部に修正ResNetブロックを持つアーキテクチャで目的を達成する。この学生モデルは教師モデルとして使う「MRCNN」の91倍の推論速度で実行できる。
提案手法の課題
この「JITNet」をトレーニングするには以下の課題がある。
訓練に用いるターゲットラベルは教師モデル（MRCNN）から生成する。
また、学生モデル（JITNet）はランダム初期化ではなく事前トレーニングしておく。
オンライントレーニングにおいて、momentumを0.9と学習率を0.01とオフラインより高めに設定する。
オンライントレーニングは、"stride"フレームおきに教師モデルの生成するデータを用いて行う。その際の教師モデルと学生モデルとの比較結果に応じて、"stride"の値を調整するというもの。唯一ユーザーが設定できるパラメータ精度閾値が大きければトレーニングされやすくなり、小さければトレーニングされにくくなる。
Long Video Streams dataset（LVS）データセット
5. Evaluation
Google翻訳した上で、自分の理解しやすいように修正する。
>>
私たちの評価の目的は、効率的なビデオセグメンテーションのための戦略としてオンライン蒸留の限界をテストすることです。
以下の二つを比較する。
- 代替の動きに基づく補間法［５２］
- ビデオオブジェクトセグメンテーションのためのオンラインアプローチ［５］
焦点はロングビデオストリーム（LVS）における正確さと効率を評価することですが、付録にはDAVISビデオベンチマーク[36]の結果も含みます。
