ビデオアクション認識-ビデオのアクション認識のための2ストリーム畳み込みネットワーク

Video Action Recognition Two Stream Convolutional Networks

ビデオでのアクション認識のための2ストリーム畳み込みネットワークNIPS2014

各ストリームは、ディープConvNetを使用して実装され、そのソフトマックススコアはレイトフュージョンによって結合されます。 2つの融合方法を検討します。スタックされたL2正規化ソフトマックススコアでのマルチクラス線形SVM [6]の平均化とトレーニングを特徴として使用します。

空間ストリームConvNet：これは単一の画像を分類するためのものです。最新のネットワーク構造を使用して、画像分類データベースで事前トレーニングを行うことができます。

3オプティカルフローConvNets
モデルへの入力は、いくつかの連続するフレーム間でオプティカルフロー変位フィールドを積み重ねることによって形成されます。このような入力は、ビデオフレーム間の動きを明示的に記述し、認識を容易にします。
オプティカルフローConvNetの場合、画像の連続するフレームの数に対応するオプティカルフローフィールドをCNNに入力します。この表示されたモーション情報は、アクションの分類に役立ちます。

ここでは、オプティカルフロー入力に基づくバリアントを検討します。
3.1ConvNet入力構成
オプティカルフロースタッキング。ここでは、オプティカルフローの水平成分と垂直成分をフィーチャマップと入力CNNとしてパックします。ベクトル場の水平成分と垂直成分は、画像チャネルとして見ることができます。