に対して

論文フレームワークprocess_5



Thesis Framework Process_5



軌道工場：複数のオブジェクトを追跡するためのディープシャムBI-GRUによるトラックレットの切断と再接続

このホワイトペーパーでは、オブジェクト認識の重複画像によって発生する可能性のあるトラッキングエラーに焦点を当て、トラックレットで3段階の処理を実行します。生成-切り捨て-再接続ディープシャムBi-GRUは、切り捨ておよび再接続モデルのトレーニングを完了するために使用されます。 LSTMの効果は似ていますが、GRUは計算が簡単で、パラメーターが少なく、「ゲーティング」が1つ少なくなっています。

生成

Siamese-CNNネットワークを使用してトラックレットを生成する
検出されたバウンディングボックスの表現（時間tでのフレームのk番目のバウンディングボックス）
検出された候補表現



ハンガリーのアルゴリズムを使用して境界ボックスと候補を一致させます。2桁の左側が候補で、右側が境界ボックスです。
追跡されるオブジェクトは次のように定義されます：時間（フレーム）、トラックレットID、境界ボックスの中心（x、y）、境界ボックスの幅w、高さh、状態s = {'tracked'、 'lost'、 'quited'} 画像
この時点で、ビデオフレームシーケンス全体のトラックレットセットを取得できます。

最適化グラフは次のように表されます。
ここで、S（x、y）はコスト関数です。
外観の特徴はCNNによって取得され、境界ボックスとオブジェクトの間のユークリッド距離が計算され、L2が正規化され、取得された結果は境界ボックスと追跡オブジェクトを表します。 類似性
それらの中で、L2正規化：正規化された特徴は超球に分布し、目的は特徴への光の影響を減らすことです
L2パラダイム
L2正規化
予測位置情報には、前の入力の履歴位置に依存するLSTM出力があります
位置情報は4次元で、[x、y、w、h]は予測位置と検出位置の間の距離を計算します。



劈開

目的：前の手順で取得したトラックレットセット内の同じオブジェクトではないトラックレットを特定し、トレーニング前のモデルからそれらを切り取ります。これは再接続の半分です。
全体の構成は以下のとおりです。

  1. 最初に画像をCNNに入力して、画像の特徴を抽出します ；
  2. 次に、機能を双方向GRU（ゲート付き回帰ユニット）に入力すると、すべてのGRUが重み係数を共有し、出力は次のようになります。 正のiは順方向入力の出力であり、負のiは逆方向入力の出力です。
  3. 隣接するベクトル（順方向と逆方向に対応するベクトル）間の距離（つまり、Lと-L）を計算して、Lk次元のベクトルを取得します。
    計算プロセスでは、ベクトル内の最大数が最適な切り捨てポイントとして検出され、ベクトル内のすべての数値がしきい値未満の場合、切り捨てポイントが出力されます。これは、トラックレットが同じオブジェクトに属していることを意味します。切り捨てる必要はありません

再接続

全体のフレーム図

複数の損失関数を組み合わせて、クラス内距離を減らし、クラス間距離を増やします。各GRU出力には損失関数があります。
それらはグローバル損失関数とローカル損失関数です
グローバル損失計算
その中で、コントラスト関数E（x、y）
マルチクラスクロスエントロピー関数F（x）
GRU出力 完全に接続されたレイヤーとReLUレイヤーの後、出力は次のようになります。 ；
各GRUの出力は時間の経過とともにプールされます
部分的な損失
ローカル検証損失は、同じトラックヘッドとテール、異なるトラックヘッド、および異なるトラックテールの3つの異なる計算を含む、トリプレット損失に似ています。
局所認識喪失
ステータス設定：
ノードが複数のフレームで一致しない場合は、「失われた」に設定され、次のフレームがノードと一致するまで「追跡」に変更され、ノードの位置が境界を超えた場合は「終了」に設定されます。 '



トレースリンク：
ステータスが終了したトラックレットを破棄します
時間とスペースの制限を満たすトラックレットに再接続します
最後に、再接続して、制約を満たすトラックレットを出力します。
に制約
B（x）はバウンディングボックスです。
このホワイトペーパーでは、AdamOptimizerを使用してネットワークをトレーニングしています。再接続後、多項式カーブフィッティングを使用してトラックレット間のギャップを埋め、スムージング機能を使用して各トラックレットをスムージングします。