ハード

紙|ガウスデノイザーを超えて：画像ノイズ除去のためのディープCNNの残余学習



Paper Beyond Gaussian Denoiser



目次

2017TIPに公開されました。

概要

識別モデル 画像のノイズ除去の学習は、その優れたノイズ除去性能により、最近かなりの注目を集めています。この論文では、 フィードフォワードノイズ除去畳み込みニューラルネットワーク（DnCNN） 非常に深いアーキテクチャ、学習アルゴリズム、および正則化手法の進歩を画像のノイズ除去に取り入れること。具体的には、残余学習とバッチ正規化を利用して、トレーニングプロセスを高速化し、ノイズ除去のパフォーマンスを向上させます。 通常、特定のノイズレベルで加法性ホワイトガウスノイズ（AWGN）の特定のモデルをトレーニングする既存の識別ノイズ除去モデルとは異なり、DnCNNモデルは、未知のノイズレベルのガウスノイズ除去（つまり、ブラインドガウスノイズ除去）を処理できます。 。残余学習戦略を使用すると、DnCNNは非表示レイヤーの潜在的なクリーンイメージを暗黙的に削除します。このプロパティにより、単一のDnCNNモデルをトレーニングして、ガウスノイズ除去、単一画像の超解像、JPEG画像のブロック解除などのいくつかの一般的な画像ノイズ除去タスクに取り組むことができます。私たちの広範な実験は、私たちのDnCNNモデルがいくつかの一般的な画像ノイズ除去タスクで高い効果を示すだけでなく、GPUコンピューティングの恩恵を受けて効率的に実装できることを示しています。



結論として

本論文では、画像のノイズ除去のために深い畳み込みニューラルネットワークを提案し、ノイズの多い観測からノイズを分離するために残余学習を採用した。バッチ正規化と残余学習が統合されて、トレーニングプロセスが高速化され、ノイズ除去のパフォーマンスが向上します。特定のノイズレベルに対して特定のモデルをトレーニングする従来の識別モデルとは異なり、単一のDnCNNモデルには、未知のノイズレベルでのブラインドガウスノイズ除去を処理する能力があります。また、 ノイズレベルが不明なガウスノイズ除去、複数のアップスケーリング係数を使用した単一画像の超解像、さまざまな品質係数を使用したJPEG画像のブロック解除など、3つの一般的な画像ノイズ除去タスクを処理する単一のDnCNNモデルをトレーニングする可能性を示しました。 。広範な実験結果は、提案された方法が定量的および定性的に好ましい画像ノイズ除去性能を生み出すだけでなく、GPU実装による有望な実行時間を持っていることを示しました。

主なポイント



  • DnCNNは、次数が不明なガウスノイズ、つまりブラインドガウスノイズ除去を処理できます。
  • 著者はまた、DnCNNを使用して、未知のガウスノイズ、マルチスケール超解像、および未知のQFのJPEG画像圧縮を同時に処理しようとしました。

利点

  • これは、ガウスノイズ除去にDNNを使用する最初のネットワークである必要があります。トレーニングセットを混合することにより、ブラインドノイズ除去を実現できます。 （CNNは[23]で最初に画像のノイズ除去に使用されました）
  • これは、モデルまたは画像に対する従来の方法の以前の制約を破り、ネットワークが以前の用語を学習できるようにします。
  • 著者は、実験を通じて、BNと残余学習が相互に支援し合うことを発見しました。

ネットワーク全体

全体として、ネットワークは VGG 構造、変換：

  1. すべての畳み込みカーネルはに設定されています（3 times 3 ）。
  2. すべてのプーリングレイヤーを削除します。

論文の3ページ目で、著者はその方法を説明しています 有効な受容野に基づいてネットワークの深さを設定する 。興味のある方はご覧ください。最後に、作成者はDnCNNを17レイヤーに設定しました。ブラインドノイズ除去やその他のタスクの場合、作成者はそれを20レイヤーに設定します。

著者は、CNNに関する一連の最適化手法を追加しました。

  1. 残余学習：CNNに、潜在的なクリーンな画像とノイズの多い画像の違いをモデル化させます。言い換えれば、CNNはノイズの多い画像からきれいな画像を取り除く必要があります（自然なロスレス画像の本質的な特性を見つけてください）。
  2. BN：トレーニングプロセスをスピードアップして安定させます。見つかった、 BNと残余学習はお互いに利益をもたらします 。

いくつかの点に注意してください：

  1. 最初のレイヤーと最後のレイヤーはBNを使用しません。
  2. 最後のレイヤーは、ReLUの非線形アクティベーションを使用しません。
  3. 畳み込みの各レイヤーは64チャネルを生成し、最終的に単一チャネルのグレースケール画像を出力します。これは理想的にはノイズの多い画像です。

最後に、従来の方法では、通常はブロック処理に基づいているため、より明白なブロック効果が得られることを言及する価値があります。しかし、DnCNNでは、 ゼロパディング 畳み込み法、実験が見つかりました ゼロパディングはブロック性を生成しません 。

BNと残余学習

著者は、実験的方法を使用して、BNと残余学習の複合効果を調査します。
実験

図に示すように、SGDまたはAdam最適化法のどちらであっても、 RLとBNの組み合わせにより、ネットワークパフォーマンスを大幅に向上させることができます 。これについての作者の説明は次のとおりです。

実際、ガウス分布では、残差画像とバッチ正規化の両方がガウス分布に関連付けられていることがわかります。残余学習とバッチ正規化は、ガウスノイズ除去のために互いに利益を得る可能性が非常に高いです。この点は、以下の分析によってさらに検証できます。

他のタスクに展開

ブラインドノイズ除去：作成者は、単一のDnCNNモデルをトレーニングするために、トレーニングセットでノイズの多い画像と0〜55の範囲のノイズ標準偏差を混合します。

JPEGブロック効果に移動します：同じです。

超解像：同じプロセスを実行する前に、アップサンプリングを補間します。

実験は省略されています。この記事は今では比較的単純に見えます。

転載：https：//www.cnblogs.com/RyanXing/p/11611170.html