ニューラルネットワークで重みベクトルが決定平面に直交するのはなぜですか
Why Is Weight Vector Orthogonal Decision Plane Neural Networks
解決：
重みは、単に分離面を定義する係数です。今のところ、ニューロンを忘れて、N次元の平面の幾何学的定義を考えてみてください。
w1 * x1 + w2 * x2 + ... + wN * xN-w0 = 0これはドット積と考えることもできます：
w * x-w0 = 0どこwとxは両方とも長さNのベクトルです。この方程式は、平面上のすべての点に当てはまります。上記の方程式に定数を掛けることができ、それがまだ成り立つので、ベクトルが次のように定数を定義できることを思い出してください。wの単位長さ。さあ、一枚の紙を取り出して、x-y軸（x1および上記の式のx2）。次に、線を引きます（平面2D）原点近くのどこか。w0は、原点から平面までの垂直距離であり、wは、原点からその垂線に沿って指す単位ベクトルです。ここで、原点から平面上の任意の点までベクトルを描画すると、そのベクトルと単位ベクトルの内積が得られます。wは常にに等しくなりますw0なので、上記の式が成り立ちますよね？これは単に平面の幾何学的定義です：平面に垂直なものを定義する単位ベクトル（w）と距離（w0）原点から平面まで。
これで、ニューロンは上記と同じ平面を表すだけですが、変数の説明が少し異なります。のコンポーネントを呼び出しますx私たちの「入力」、のコンポーネントw私たちの「重み」、そして私たちは距離を呼びますw0バイアス。これですべてです。
あなたの実際の質問を少し超えて、私たちは飛行機のポイントを本当に気にしません。平面のどちら側に点が当たるかを本当に知りたいのです。その間w * x-w0は平面上で正確にゼロであり、平面の片側の点には正の値があり、反対側の点には負の値があります。そこでニューロンの活性化関数が登場しますが、それはあなたの実際の質問を超えています。
直感的には、バイナリ問題では、重みベクトルは「1」クラスの方向を指しますが、重みベクトルから離れる方向を指すと「0」クラスが見つかります。したがって、決定境界は重みベクトルに対して垂直に描画する必要があります。
簡略化された例については、画像を参照してください。入力が1つだけで、重みが1つのニューラルネットワークがあります。重みが-1（青いベクトル）の場合、すべての負の入力が正になるため、負のスペクトル全体が「1」クラスに割り当てられ、正のスペクトルは「0」クラスに割り当てられます。したがって、2軸平面の決定境界は、原点を通る垂直線（赤い線）です。簡単に言うと、重みベクトルに垂直な線です。
いくつかの値を使用して、この例を見ていきましょう。すべての合計が次の場合、パーセプトロンの出力はクラス1です。入力*重みが0（デフォルトのしきい値）より大きい場合、出力がしきい値0より小さい場合、クラスは0です。入力の値は1です。この単一の入力に適用される重みは-1であるため、1 * -1 = -1、これは0未満です。したがって、入力にはクラス0が割り当てられます（注：クラス0とクラス1は、クラスAまたはクラスBと呼ばれる可能性があります。入力値および重み値と混同しないでください）。 ）。逆に、入力が-1の場合、入力*重量は-1 * -1 = 1、これは0より大きいため、入力はクラス1に割り当てられます。すべての入力値を試すと、この例のすべての負の値の出力が0より大きいことがわかります。したがって、すべてそれらのすべてがクラス1に属します。すべての正の値の出力は0より小さいため、クラス0として分類されます。すべての正と負の入力値を区切る線（赤い線）を引くと、この線が表示されます。は重みベクトルに垂直です。
また、重みベクトルは、必要な出力に合うように入力を変更するためにのみ使用されることに注意してください。重みベクトルがないとどうなりますか？ 1の入力は、0のしきい値よりも大きい1の出力になります。したがって、クラスは「1」です。
このページの2番目の画像は、2つの入力とバイアスを持つパーセプトロンを示しています。最初の入力の重みは私の例と同じですが、2番目の入力の重みは1です。したがって、対応する重みベクトルと決定境界が、画像に示すように変更されます。また、バイアスが1に追加されたため、決定境界は右に変換されています。
これは、より基本的な線形代数/微積分の観点からの視点です。
平面の一般的な方程式は、Ax + By + Cz = Dです（より高い次元に拡張できます）。法線ベクトルは、次の方程式から抽出できます。[A B C];これは、平面上にある他のすべてのベクトルに直交するベクトルです。
ここで、重みベクトル[w1 w2 w3]がある場合、w ^ T * x> = 0（正の分類を取得するため）およびw ^ T * x = dの場合。さて、これで私がどこに行くのかわかりますか？
重みベクトルは、最初のセクションの法線ベクトルと同じです。そして、私たちが知っているように、この法線ベクトル（および点）は平面を定義します：これはまさに決定境界です。したがって、法線ベクトルは平面に直交するため、重みベクトルも決定境界に直交します。
