OpenCVのfindFundamentalMat関数で使用されるモデル

（4）findInliers＆computerReprojError

1. intCvModelEstimator2 :: findInliers（constCvMat * m1、constCvMat * m2、
2. constCvMat *モデル、CvMat * _err、
3. CvMat * _mask、ダブルしきい値）
4. {{
5. inti、count = _err-> rows * _err-> cols、goodCount = 0
6. const 浮く* err = _err-> data.fl
7. uchar *マスク= _mask-> data.ptr
9. computeReprojError（m1、m2、model、_err）//ポイントの各グループの投影誤差を計算します
10. しきい値* =しきい値
11. ために（i = 0 i
12. goodCount + = mask [i] = err [i]<= threshold//エラーは制限された範囲内です。「内部ポイントセット」を追加してください
13. 戻るgoodCount
14. }
15. // --------------------------------------
16. ボイドCvHomographyEstimator :: computeReprojError（constCvMat * m1、constCvMat * m2、constCvMat *モデル、CvMat * _err）
17. {{
18. inti、カウント= m1-> rows * m1-> cols
19. constCvPoint2D64f * M =（constCvPoint2D64f *）m1-> data.ptr
20. constCvPoint2D64f * m =（constCvPoint2D64f *）m2-> data.ptr
21. const ダブル* H = model-> data.db
22. 浮く* err = _err-> data.fl
24. ために（i = 0 i//上記の変換式に対応するポイントの各グループの投影エラーを保存します
25. {{
26. ダブルww = 1./(H[6]*M[i].x + H [7] * M [i] .y + 1.）
27. ダブルdx =（H [0] * M [i] .x + H [1] * M [i] .y + H [2]）* ww-m [i] .x
28. ダブルdy =（H [3] * M [i] .x + H [4] * M [i] .y + H [5]）* ww-m [i] .y
29. err [i] =（浮く）（dx * dx + dy * dy）
30. }
31. }

上記kに対応する計算式

p：自信

ep：外点比

1. cvRANSACUpdateNumIters（ダブルp、ダブルep、
2. intmodel_points、intmax_iters）
4. もし（model_points<= 0 )
5. CV_Error（CV_StsOutOfRange、「モデルポイントの数は正でなければなりません」）。
7. p = MAX（p、0。）
8. p = MIN（p、1）
9. ep = MAX（ep、0。）
10. ep = MIN（ep、1）
12. // infとnanを避けます
13. ダブルnum = MAX（1。-p、DBL_MIN）// num = 1-p、分子を与える
14. ダブルdenom = 1. --pow（1。--ep、model_points）//分母を行う
15. もし（デノム
16. 戻る0
18. num = log（num）
19. denom = log（denom）
21. 戻るデノム> = 0

エピポーラジオメトリの知識は、ステレオ画像ペアを処理するときによく使用されます。また、基本行列を計算することも非常に一般的です。 OpenCVは、基本的なマトリックスアルゴリズムを実装しています。古いバージョンのCコードの場合、基本行列を計算するためのRANSACメソッドにバグがあり、反復回数が収束しないため、毎回計算されるサンプル数が最大制限に達する可能性があります。根本的な原因は、サンプリングの信頼性を計算するための式が正しくないことです。 、新しいバージョンのコードを注意深く読んでいません。このバグが修正されているかどうかわかりません。ただし、このバグは最終結果に大きな影響を与えませんが、計算の効率に影響を与えます。元々、このバグの影響下で、数個のサンプルが反復を終了する可能性があり、数百個のサンプルが必要になる場合があります。

新しいバージョンの基本的な行列計算関数にもいくつかの問題があります。 cv :: findFundamentalMat関数を見てみましょう。

//！基本行列を見つけるためのアルゴリズム
列挙型
{{
FM_7POINT = CV_FM_7POINT、//！<7-point algorithm
FM_8POINT = CV_FM_8POINT、//！<8-point algorithm
FM_LMEDS = CV_FM_LMEDS、//！FM_RANSAC = CV_FM_RANSAC //！}

//！対応する2D点のセットから基本行列を見つけます
CV_EXPORTSマットfindFundamentalMat（const Mat＆points1、const Mat＆points2、
CV_OUT vector＆mask、int method = FM_RANSAC、
double param1 = 3.、double param2 = 0.99）

//！対応する2D点のセットから基本行列を見つけます
CV_EXPORTS_WマットfindFundamentalMat（const Mat＆points1、const Mat＆points2、
intメソッド= FM_RANSAC、
double param1 = 3.、double param2 = 0.99）

上記は、OpenCVが基本行列を計算するためのC ++インターフェースです。その内部実装は、呼び出されるCコード関数のままですが、上位層にのみカプセル化されます。インターネット上のいくつかの文書は、2つのパラメーターconst Mat＆points1とpoints2をベクトルタイプで直接渡すことができると述べています。実際、これは間違っています。ベクトルで直接渡すと、コンパイル時にエラーが報告されない場合がありますが、実行時に直接クラッシュします。 cv :: Matのコンストラクターは、Point2fを2つの浮動小数点数に変換してMatの2つの要素に格納しませんが、Point2fをMatの1つの要素に格納するため、findFundamentalMatはこのMatを読み取ります。エラー。

したがって、Matpoints1とMatpoints2を正直に作成したほうがよいでしょう。行列の次元は2xNまたはNx2にすることができます。ここで、Nは特徴点の数です。注意すべきもう1つのポイントは、マトリックスのタイプをCV_64Fにすることはできないということです。これは、findFundamentalMatがfloatタイプに従ってpoints1とpoints2を内部的に解析することを意味します。 CV_64Fを設定すると、データの読み取りに失敗し、プログラムがクラッシュします。 CV_32Fとして設定することをお勧めします。以下は、一致した特徴点からFを計算するためのコード例です。

//ベクトルm_LeftKey
//ベクトルm_RightKey

//ベクトルm_Matches

//上記の3つの変数が計算されました。これらは、抽出されたキーポイントとそれらのマッチングです。以下では、Fを直接計算します

//スペースを割り当てます

int ptCount =（int）m_Matches.size（）
マットp1（ptCount、2、CV_32F）
マットp2（ptCount、2、CV_32F）

//キーポイントをマットに変換します

Point2f pt
for（int i = 0 i{{
pt = m_LeftKey [m_Matches [i] .queryIdx] .pt
p1.at（i、0）= pt.x
p1.at（i、1）= pt.y

pt = m_RightKey [m_Matches [i] .trainIdx] .pt
p2.at（i、0）= pt.x
p2.at（i、1）= pt.y
}

// RANSACメソッドを使用してFを計算します

//マットm_Fundamental

//上記の変数は基本的な行列です

//ベクトルm_RANSACStatus

//上記の変数が定義され、RANSAC後の各ポイントの状態を格納するために使用されています

m_Fundamental = findFundamentalMat（p1、p2、m_RANSACStatus、FM_RANSAC）

//ワイルドポイントの数を計算します

int OutlinerCount = 0
for（int i = 0 i{{
If（m_RANSACStatus [i] == 0）//ステータスが0の場合、ワイルドポイントを意味します
{{
OutlinerCount ++
}
}

//内部の点を計算します

//ベクトルm_LeftInlier
//ベクトルm_RightInlier
//ベクトルm_InlierMatches

//上記の3つの変数は、内部ポイントと一致する関係を保存するために使用されます

int InlinerCount = ptCount-OutlinerCount
m_InlierMatches.resize（InlinerCount）
m_LeftInlier.resize（InlinerCount）
m_RightInlier.resize（InlinerCount）
InlinerCount = 0
for（int i = 0 i{{
if（m_RANSACStatus [i]！= 0）
{{
m_LeftInlier [InlinerCount] .x = p1.at（i、0）
m_LeftInlier [InlinerCount] .y = p1.at（i、1）
m_RightInlier [InlinerCount] .x = p2.at（i、0）
m_RightInlier [InlinerCount] .y = p2.at（i、1）
m_InlierMatches [InlinerCount] .queryIdx = InlinerCount
m_InlierMatches [InlinerCount] .trainIdx = InlinerCount
InlinerCount ++
}
}

//内側のポイントをdrawMatchesで使用できる形式に変換します

ベクトルkey1（InlinerCount）
ベクトルkey2（InlinerCount）
KeyPoint :: convert（m_LeftInlier、key1）
KeyPoint :: convert（m_RightInlier、key2）

// Fを計算した後、内部ポイントマッチングを表示します

//マットm_matLeftImage
//マットm_matRightImage

//上記の2つの変数は、左右の画像を保存します

マットOutImage
drawMatches（m_matLeftImage、key1、m_matRightImage、key2、m_InlierMatches、OutImage）
cvNamedWindow（ '機能の一致'、1）
cvShowImage（ 'Match features'、＆（IplImage（OutImage）））
cvWaitKey（0）
cvDestroyWindow（ '機能の一致'）

ピンホールカメラのモデルと変形

このセクションの機能はすべてピンホールカメラモデルを使用します。つまり、ビューは、透視変換によって3次元空間内の点を画像平面に投影することです。射影式は次のとおりです。

または

ここで、（X、Y、Z）は点のワールド座標であり、（u、v）は画像平面に投影された点の座標（ピクセル単位）です。 Aは、カメラ行列または内部パラメータ行列と呼ばれます。 （cx、cy）は基準点（通常は画像の中央）、fx、fyはピクセル単位の焦点距離です。したがって、カメラからの画像が何らかの要因でアップサンプリングまたはダウンサンプリングされた場合、これらすべてのパラメーター（fx、fy、cx、およびcy）は同じスケールでスケーリング（乗算または除算）されます。内部パラメータマトリックスはシーンのビューに依存せず、一度計算されると、再利用できます（焦点距離が固定されている限り）。回転-平行移動行列[R | t]は、外部パラメータ行列と呼ばれ、固定シーンに対するカメラの動き、または逆に、カメラの周りのオブジェクトの剛体の動きを表すために使用されます。つまり、[R | t]は、点（X、Y、Z）の座標を、カメラに対して固定された座標系に変換します。上記の変換は、次の形式（z≠0）と同等です。

バツ '= バツ / と

Y '= Y / と

実際のレンズには通常、ある程度の変形があり、主な変形は半径方向の変形であり、わずかな接線方向の変形があります。したがって、上記のモデルは次のように拡張できます。

バツ '= バツ / と

Y '= Y / と

ここに r ^二= バツ '^二+ Y '^二

に ₁と に _二半径方向の変形係数は、 p ₁と p ₁接線方向の変形係数です。 OpenCVでは高次係数は考慮されません。変形係数は撮影シーンとは関係がないため、内部パラメータであり、撮影した画像の解像度とは関係ありません。

次の関数は、上記のモデルを使用して次のことを行います。

• 内部パラメータと外部パラメータを指定して、3次元の点を画像平面に投影します。
• 内部パラメータ、いくつかの3次元点座標、およびそれらに対応する画像座標が与えられた場合、外部パラメータを計算します。
• 既知のキャリブレーションモードによれば、カメラの外部パラメータと内部パラメータは、いくつかの角度からの写真から計算されます（各角度には対応する3D-2Dポイントペアがいくつかあります）。

カメラのキャリブレーション

ProjectPoints2

プロジェクト3Dは画像平面を指します

object_points

オブジェクトポイントの座標は、3xNまたはNx3マトリックスです。ここで、Nはビュー内のすべてのポイントの数です。

ローテーションベクトル

回転ベクトル、1x3または3x1。

translation_vector

平行移動ベクトル、1x3または3x1。

固有の行列

カメラのパラメータ行列A：

歪み係数

変形パラメータベクトル、4x1または1x4は、[ に ₁、 に _二、 p ₁、 p _二]。 NULLの場合、すべての変形係数は0に設定されます。

image_points

画像ポイントの座標を格納するための出力配列。サイズは2xNまたはNx2です。ここで、Nはビュー内のすべてのポイントの数です。

dpdrot

オプションのパラメータ、回転ベクトル部分の画像上の点の導関数、Nx3行列。

dpdt

オプションのパラメーター、平行移動ベクトル部分の画像上の点の導関数、Nx3行列。

dpdf

オプションのパラメーター、fxおよびfyの画像上の点の導関数、Nx2行列。

dpdc

オプションのパラメーター、cxおよびcyの画像上の点の導関数、Nx2行列。

dpddist

オプションのパラメータ、変形係数上のイメージポイントの導関数、Nx4行列。

関数cvProjectPoints2は、指定された内部パラメーターと外部パラメーターを使用して、2次元画像平面に投影された3次元点の座標を計算します。さらに、この関数は、射影パラメータに関して画像ポイントの偏導関数のヤコビ行列を計算できます。ヤコビ行列は、cvCalibrateCamera2およびcvFindExtrinsicCameraParams2関数の大域的最適化で使用できます。この関数は、内部および外部パラメーターの逆投影誤差を計算するためにも使用できます。内部パラメータおよび（または）外部パラメータを特定の値に設定すると、この関数を使用して外部変換（または内部変換）を計算できることに注意してください。

FindHomography

2つの平面間の透視変換を計算します

void cvProjectPoints2( const CvMat* object_points, const CvMat* rotation_vector, const CvMat* translation_vector, const CvMat* intrinsic_matrix, const CvMat* distortion_coeffs, CvMat* image_points, CvMat* dpdrot=NULL, CvMat* dpdt=NULL, CvMat* dpdf=NULL, CvMat* dpdc=NULL, CvMat* dpddist=NULL ) 

void cvFindHomography( const CvMat* src_points, const CvMat* dst_points, CvMat* homography )

src_points

dst_points

ターゲット平面の点座標サイズは、2xN、Nx2、3xN、またはNx3マトリックスです（後者の2つは同次座標を表します）。

ホモグラフィ

出力3x3ホモグラフィマトリックス。

関数cvFindHomographyは、ソース平面とターゲット平面の間の透視変換を計算します 。

逆投影エラーを最小限に抑えます。

この関数は、初期内部パラメーターと外部パラメーター行列を計算するために使用できます。ホモグラフィ行列のスケールは可変であるため、次のように正規化されます h ₃₃= 1

CalibrateCamera2

The point coordinates of the original plane, the size is 2xN, Nx2, 3xN or Nx3 matrix (the latter two represent homogeneous coordinates), where N represents the number of points.

object_points

キャリブレーションポイントのワールド座標は、3xNまたはNx3マトリックスです。ここで、Nはすべてのビューのポイントの総数です。

image_points

キャリブレーションポイントの画像座標は、2xNまたはNx2マトリックスです。ここで、Nはすべてのビューのポイントの総数です。

point_counts

ベクトル、異なるビューのポイントの数を指定します。1xMまたはMx1ベクトル、Mはビューの数です。

画像サイズ

画像サイズは、内部パラメータを初期化するときにのみ使用されます。

固有の行列

出力内部パラメータ行列（A） CV_CALIB_USE_INTRINSIC_GUESSおよび（または）CV_CALIB_FIX_ASPECT_RATIONを指定する場合は、fx、fy、cx、およびcyの一部またはすべてを初期化する必要があります。

歪み係数

出力サイズは4x1または1x4ベクトルで、変形パラメーター[k1、k2、p1、p2]が含まれています。

回転ベクトル

出力サイズは、回転ベクトルである3xMまたはMx3行列です（回転行列のコンパクトな表現。詳細については、関数cvRodrigues2を参照してください）。

translation_vectors

出力サイズは、平行移動ベクトルである3xMまたはMx3行列です。

フラグ

異なるフラグは、0または次の値の組み合わせにすることができます。

• CV_CALIB_USE_INTRINSIC_GUESS-内部パラメータマトリックスには、fx、fy、cx、cyの初期値が含まれています。それ以外の場合、（cx、cy）は画像の中心に初期化され（ここでは画像サイズが使用されます）、焦点距離は最小二乗差法によって計算されます。内部パラメーターがわかっている場合は、この関数を使用する必要はなく、cvFindExtrinsicCameraParams2を使用するだけであることに注意してください。
• CV_CALIB_FIX_PRINCIPAL_POINT-プライマリポイントは、グローバル最適化プロセス中、常に中央位置または他の指定された位置（CV_CALIB_USE_INTRINSIC_GUESSが設定されている場合）で変更されません。
• CV_CALIB_FIX_ASPECT_RATIO-最適化プロセスでは、fxとfyには独立変数が1つだけあり、比率fx / fyは変更されないままであると見なされ、fx / fyの値は内部パラメーター行列がの場合の値と同じです。初期化されました。この場合、（fx、fy）の実際の初期値は、入力メモリマトリックス（CV_CALIB_USE_INTRINSIC_GUESSが指定されている場合）または推定値（後者の場合はfxおよびfyを任意の値に設定できます。比率のみ）から読み取られます。使用されている）。
• CV_CALIB_ZERO_TANGENT_DIST –接線変形パラメーター（p1、p2）は0に設定され、最適化プロセス中、それらの値は0のままです。

関数cvCalibrateCamera2は、各ビューからカメラの内部パラメーターと外部パラメーターを推定します。 3Dオブジェクト上のポイントと、各ビューの対応する2D投影を指定する必要があります。これらは、検出が容易な既知のジオメトリと特徴点を持つオブジェクトを使用することで実現できます。このようなオブジェクトは、キャリブレーションデバイスまたはキャリブレーションモードと呼ばれます。 OpenCVには、チェス盤をキャリブレーションデバイスとして使用する方法が組み込まれています（cvFindChessboardCornersを参照）。現在、初期化のために渡される内部パラメータ（CV_CALIB_USE_INTRINSIC_GUESSが設定されていない場合）は、平面キャリブレーション機器のみをサポートします（オブジェクトポイントのZ座標はすべて0またはすべて1である必要があります）。ただし、3Dキャリブレーション装置を使用して、初期の内部パラメーターマトリックスを提供することはできます。内部および外部パラメーター行列の初期値が計算された後、それらは逆投影エラー（画像上の実際の座標とcvProjectPoints2によって計算された画像座標との差の2乗の合計）を減らすために最適化されます。

FindExtrinsicCameraParams2

指定されたビューの外部カメラパラメータを計算します数

void cvCalibrateCamera2( const CvMat* object_points, const CvMat* image_points, const CvMat* point_counts, CvSize image_size, CvMat* intrinsic_matrix, CvMat* distortion_coeffs, CvMat* rotation_vectors=NULL, CvMat* translation_vectors=NULL, int flags=0 ) 

object_points

キャリブレーションポイントの座標は、3xNまたはNx3マトリックスです。ここで、Nはビュー内の数値です。

image_points

画像内のキャリブレーションポイントの座標は、2xNまたはNx2マトリックスです。ここで、Nはビュー内の数値です。

固有の行列

内部参照マトリックス（A） 。

歪み係数

変形パラメーターを持つサイズ4x1または1x4のベクトル[ に ₁、 に _二、 p ₁、 p _二]。 NULLの場合、すべての変形係数は0です。

ローテーションベクトル

出力サイズは、回転ベクトルである3x1または1x3行列です（回転行列のコンパクトな表現。詳細については、関数cvRodrigues2を参照してください）。

translation_vector

平行移動ベクトルを含む、サイズが3x1または1x3の行列。

関数cvFindExtrinsicCameraParams2は、既知の内部パラメーターと特定のビューの外部パラメーターを使用して、カメラの外部パラメーターを推定します。 3Dオブジェクトの点座標と対応する2D投影を指定する必要があります。この関数は、逆投影エラーを最小限に抑えるためにも使用できます。

ロドリゲス2

void cvFindExtrinsicCameraParams2( const CvMat* object_points, const CvMat* image_points, const CvMat* intrinsic_matrix, const CvMat* distortion_coeffs, CvMat* rotation_vector, CvMat* translation_vector ) 

src

入力回転ベクトル（3x1または1x3）または回転行列（3x3）。

等

出力回転行列（3x3）または回転ベクトル（3x1または1x3）

ヤコビアン

オプションの出力ヤコビ行列（3x9または9x3）、入力部分に関する出力配列の偏導関数。

この関数は、回転ベクトルを回転行列に、またはその逆に変換します。回転ベクトルは、回転行列のコンパクトな表現です。回転ベクトルの方向は回転軸であり、ベクトルの長さは回転軸の周りの回転角です。回転行列Rとそれに対応する回転ベクトルrは、次の式で変換されます。

逆変換は、次の式でも簡単に実現できます。

回転ベクトルは、自由度が3つしかない回転​​行列の便利な表現です。この表現は、関数cvFindExtrinsicCameraParams2およびcvCalibrateCamera2のグローバル最適化で使用されます。

UnConstraint2

int cvRodrigues2( const CvMat* src, CvMat* dst, CvMat* jacobian=0 ) 

src

元の画像（変形された画像）。変換できるのは32fC1画像のみです。

等

結果の画像（修正された画像）。

固有の行列

カメラのパラメータマトリックス、形式は次のとおりです。 。

歪み係数

4つの変形係数で構成されるベクトル、サイズは4x1または1x4、形式は[ に ₁、 に _二、 p ₁、 p _二]。

関数cvUnConstraint2は、ラジアルレンズとタンジェンシャルレンズの歪みを相殺するように画像を変換します。カメラパラメータと変形パラメータは、関数cvCalibrateCamera2を介して取得できます。このセクションの冒頭で述べた式を使用して、入力画像内の各出力画像ピクセルの位置を計算し、次に出力画像のピクセル値を双一次補間によって計算します。画像の解像度がキャリブレーション中に使用された画像の解像度と異なる場合、変形が変化していないため、fx、fy、cx、およびcyを適宜調整する必要があります。

InitUnConstraintMap

void cvUndistort2( const CvArr* src, CvArr* dst, const CvMat* intrinsic_matrix, const CvMat* distortion_coeffs ) 

固有の行列

カメラパラメータマトリックス（A）[fx 0 cx 0 fy cy 0 01]。

歪み係数

変形係数ベクトル[k1、k2、p1、p2]、サイズは4x1または1x4です。

mapx

x座標の対応する行列。

マップ

y座標の対応する行列。

関数cvInitUnConstraintMapは、変形されていない対応、つまり変形された画像内の正しい画像の各ピクセルの座標を事前に計算します。この対応は、（入力画像と出力画像とともに）cvRemap関数に渡すことができます。

FindChessboardCorners

void cvInitUndistortMap( const CvMat* intrinsic_matrix, const CvMat* distortion_coeffs, CvArr* mapx, CvArr* mapy ) 

画像

入力チェス盤は、8ビットのグレースケールまたはカラー画像である必要があります。

pattern_size

チェス盤の各行と列のコーナーポイントの数。

コーナー

コーナーが検出されました

corner_count

出力、コーナーポイントの数。 NULLでない場合、関数は検出されたコーナーポイントの数をこの変数に格納します。

フラグ

さまざまな操作フラグは、0または次の値の組み合わせにすることができます。

• CV_CALIB_CB_ADAPTIVE_THRESH-適応しきい値（平均画像輝度で計算）を使用して、固定しきい値ではなく白黒に画像を変換します。
• CV_CALIB_CB_NORMALIZE_IMAGE-cvNormalizeHistを使用して、固定しきい値または2値化の適応しきい値を使用する前に、画像の明るさを均等化します。
• CV_CALIB_CB_FILTER_QUADS-他の基準（輪郭領域、周囲長、正方形の形状など）を使用して、輪郭検出段階で検出された誤った正方形を削除します。

関数cvFindChessboardCornersは、入力画像がチェス盤のパターンであるかどうかを判別し、コーナーポイントの位置を判別しようとします。すべてのコーナーポイントが検出され、それらがすべて特定の順序（行ごと、左から右への各行）に配置されている場合、関数はゼロ以外の値を返します。そうでない場合、関数はすべてのコーナーポイントを検索または記録できません。関数は0を返します。たとえば、通常のチェス盤チャートには、右側に8x8の正方形と7x7の内側の角があります。内側の角は、黒い四角が互いに連絡し合う場所です。この関数は、地面の座標がおおよその地面の値にすぎないことを検出します。それらの場所を正確に特定したい場合は、関数cvFindCornerSubPixを使用できます。

DrawChessBoardCorners

int cvFindChessboardCorners( const void* image, CvSize pattern_size, CvPoint2D32f* corners, int* corner_count=NULL, int flags=CV_CALIB_CB_ADAPTIVE_THRESH ) 

画像

結果の画像は8ビットのカラー画像である必要があります。

pattern_size

各行と列のコーナーポイントの数。

コーナー

検出されたコーナーポイントの配列。

カウント

コーナーポイントの数。

pattern_was_found

ボード全体が見つかったか（≠0）、見つからなかったか（= 0）を示します。 cvFindChessboardCorners関数の戻り値を送信できます。

チェス盤が完全に検出されていない場合、関数cvDrawChessboardCornersは、チェス盤全体が検出された場合、チェス盤の検出された角を赤い円で描画します。すべての角は直線で接続されます。

姿勢推定

CreatePOSITObject

オブジェクト情報を含む構造を初期化します

void cvDrawChessboardCorners( CvArr* image, CvSize pattern_size, CvPoint2D32f* corners, int count, int pattern_was_found ) 

ポイント

3Dオブジェクトモデルへのポインタ

point_count

オブジェクトポイント

関数cvCreatePOSITObjectは、オブジェクト構造にメモリを割り当て、オブジェクトの逆行列を計算します。

前処理されたオブジェクトデータは構造体CvPOSITObjectに格納され、OpenCV内でのみ呼び出すことができます。つまり、ユーザーはデータ構造体を直接読み書きできません。ユーザーはこの構造を作成し、関数へのポインターを渡すことしかできません。

オブジェクトは、特定の座標系の一連のポイントのコレクションです。関数cvPOSITは、カメラ座標系の中心からターゲットポイントポイント[0]までのベクトルを計算します。

特定のオブジェクトに対するすべての操作が完了したら、関数cvReleasePOSITObjectを使用してメモリを解放する必要があります。

POSIT

CvPOSITObject* cvCreatePOSITObject( CvPoint3D32f* points, int point_count ) 

posit_object

オブジェクト構造へのポインタ

image_points

ポインターは、2次元平面上のターゲットピクセルの投影を指します。

焦点距離

使用するカメラの焦点距離

基準

POSIT反復アルゴリズムプログラムの終了条件

ローテーションマトリックス

回転行列

translation_vector

変換行列。

関数cvPOSITは、POSITアルゴリズムを実行します。画像の座標はカメラの座標系で与えられます。焦点距離は、カメラのキャリブレーションによって取得できます。アルゴリズムの各反復は、推定位置での透視投影を再計算します。

2つの投影のパラダイムの違いは、対応するポイントの最大距離です。差が小さすぎる場合、パラメーターcriteria.epsilonはプログラムを終了します。

ReleasePOSITObject

void cvPOSIT( CvPOSITObject* posit_object, CvPoint2D32f* image_points, double focal_length, CvTermCriteria criteria, CvMatr32f rotation_matrix, CvVect32f translation_vector ) 

posit_object

CvPOSIT構造体へのポインターへのポインター。

関数cvReleasePOSITObjectは、関数cvCreatePOSITObjectによって割り当てられたメモリを解放します。

CalcImageHomography

void cvReleasePOSITObject( CvPOSITObject** posit_object ) 

ライン

オブジェクトの主軸方向はベクトル（dx、dy、dz）です。

センター

オブジェクトの座標中心（（cx、cy、cz））。

内在的

カメラの内部パラメーター（3x3マトリックス）。

ホモグラフィ

出力ホモグラフィ行列（3x3）。

関数cvCalcImageHomographyは、画像平面から画像平面への初期画像変化（3D長方形オブジェクトラインで定義）のホモグラフィ行列を計算します。

エピポーラジオメトリ（デュアルビュージオメトリ）

FindFundamentalMat

2つの画像の対応する点から基本行列を計算します

void cvCalcImageHomography( float* line, CvPoint3D32f* center, float* intrinsic, float* homography ) 

ポイント1

最初の画像ポイントの配列、サイズは2xN / Nx2または3xN / Nx3（Nポイントの数）、マルチチャネル1xNまたはNx1も可能です。ポイント座標は浮動小数点数（倍精度または単精度）である必要があります。 ：

ポイント2

2番目の画像のポイント配列、形式、サイズは最初の画像と同じです。

Fundamental_matrix

出力の基本行列。サイズは3x3または9x3です（7ポイントメソッドは最大3つの行列を返すことができます）。

方法

基本行列の計算方法

• CV_FM_7POINT – 7ポイントアルゴリズム、ポイント数= 7
• CV_FM_8POINT – 8ポイントアルゴリズム、ポイント数> = 8
• CV_FM_RANSAC – RANSACアルゴリズム、ポイント数> = 8
• CV_FM_LMEDS-LMedSアルゴリズム、ポイント数> = 8

param1

このパラメーターは、メソッドRANSACまたはLMedSにのみ使用されます。これは、ある点からエピポーラ線までの最大距離です。この値を超えるポイントは破棄され、以降の計算には使用されません。通常、この値は0.5または1.0に設定されます。

param2

このパラメーターは、メソッドRANSACまたはLMedSにのみ使用されます。これは、行列が正しいという確信を表しています。たとえば、0.99に設定できます。

状態

N個の要素を持つ出力配列の場合、計算プロセスで破棄されるポイントがない場合、要素は1に設定され、それ以外の場合は0に設定されます。この配列は、メソッドRANSACおよびLMedSの場合にのみ使用できます。他のメソッドの場合、ステータスは常に1に設定されます。このパラメーターはオプションです。

エピポーラジオメトリは、次の式で表すことができます。

ここで、Fは基本行列です。 p ₁と p _二それらは2つの写真の対応するポイントです。

関数FindFundamentalMatは、上記の4つのメソッドのいずれかを使用して基本行列を計算し、基本行列の値を返します。行列が見つからない場合は0を返し、1つの行列が見つかった場合は1を返します。複数の行列が見つかった場合は、3を返します。計算された基本行列を関数cvComputeCorrespondEpilinesに渡して、指定された点のエピポーラ線を計算できます。

int cvFindFundamentalMat( const CvMat* points1, const CvMat* points2, CvMat* fundamental_matrix, int method=CV_FM_RANSAC, double param1=1., double param2=0.99, CvMat* status=NULL) 

ComputeCorrespondEpilines

Example 1: Use the RANSAC algorithm to estimate the fundamental matrix. int numPoints = 100 CvMat* points1 CvMat* points2 CvMat* status CvMat* fundMatr points1 = cvCreateMat(2,numPoints,CV_32F) points2 = cvCreateMat(2,numPoints,CV_32F) status = cvCreateMat(1,numPoints,CV_32F) /* Load the corresponding point data here... */ fundMatr = cvCreateMat(3,3,CV_32F) int num = cvFindFundamentalMat(points1,points2,fundMatr,CV_FM_RANSAC,1.0,0.99,status) if( num == 1 ) printf('Fundamental matrix was found
') else printf('Fundamental matrix was not found
') Example 2: The case of 7-point algorithm (3 matrices). CvMat* points1 CvMat* points2 CvMat* fundMatr points1 = cvCreateMat(2,7,CV_32F) points2 = cvCreateMat(2,7,CV_32F) /* Load the corresponding point data here... */ fundMatr = cvCreateMat(9,3,CV_32F) int num = cvFindFundamentalMat(points1,points2,fundMatr,CV_FM_7POINT,0,0,0) printf('Found %d matrixes
',num) 

ポイント

入力ポイントは2xNまたは3xN配列です（Nはポイントの数です）

which_image

ポイントを含む画像インデックス（1または2）

Fundamental_matrix

基本マトリックス

特派員_lines

極を計算する、3xN配列

関数ComputeCorrespondEpilinesは、外線ジオメトリの基本方程式に従って、各入力ポイントの対応する外線を計算します。ポイントが最初の画像（which_image = 1）にある場合、対応するエピポーラ線は次のように計算できます。

ここで、Fは基本行列です。 p ₁最初の画像のポイントは、 l _二-2番目のフレームに対応する反対の線です。ポイントが2番目の画像（which_image = 2）にある場合、計算は次のようになります。

その中で p _二2番目の画像のポイントは、 l ₁最初の画像に対応するエピポーラ線です。各エピポーラ線は、3つの係数a、b、cで表すことができます。

正規化されたエピポーラ線係数は、correspondent_linesに格納されます。に

フリーク機能の説明+ BruteForceMatcherマッチング+誤ったマッチングを排除するためのRANSAC

時間はあっという間に過ぎ、数日前の広州への旅行は忘れられませんでした。暑い屋外のサウナのようでした。この期間は、画像から特定のターゲットを見つける方法を研究してきました。これは、局所的な特徴抽出と特徴マッチングに基づいて実現できます。に
現在、次のタイプのローカル機能記述子があります。

1. 2004年に開発されたSIFT
2. SURFは後で改善され、それらの記述子は高次元の整数です。
3. 2010年に登場したBRIEFはバイナリ記述子です。この記述子は、計算速度を向上させるのに良いアイデアを提供しますが、同じ回転とスケールを持たず、ノイズに対しても敏感です（ただし、ノイズに抵抗するためにガウス平滑化を使用します）
4. 2011年に登場したORBアルゴリズムもバイナリですが、回転不変性とノイズ感度の問題を解決しますが、スケール不変性はありません。
5. 2011年には、一定の回転、一定のスケール、およびアンチノイズの問題を解決するために、BRISKアルゴリズムが同時に登場しました。インターネット上に動画があり、リアルタイムのパフォーマンスも良いです。まず、私は直感的に理解しています。リンク[（ http://v.youku.com/v_show/id_XMTI5MzI3Mzk0OA==.html）]
6. 2012年に提案されたFREAKアルゴリズムは、実際にはBRISKの改良版です。 BRISKの利点があります。この論文で、著者は、FREAKアルゴリズムが以前のすべての記述子よりも優れている可能性があると述べました。 （注：これは機能記述子です。このホワイトペーパーには特徴点の検出方法がなく、特徴点記述子のみが記載されているためです）
   レビューを読んだ後、私はそれを達成するためにFREAKを使用することにしました。 15日かかりました。今日、私は自分自身を励まし、他の人に奉仕するためにこの段落を書きました。に
   最初にコードを貼り付けます

void cvComputeCorrespondEpilines( const CvMat* points, int which_image, const CvMat* fundamental_matrix, CvMat* correspondent_lines) 

• 1
• 二
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 十一
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 2. 3
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 3. 4
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• フォーファイブ
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68
• 69
• 70
• 71
• 72
• 73
• 74
• 75
• 76
• 77
• 78
• 79
• 80
• 81
• 82
• 83

1：
まず、特徴点の検出についてお話します。 fastやBriskの代わりにsurfを使用するのはなぜですか？私は自分でテストを行ったところ、高速で活発なものを使用し、その後フリークで説明すると、最終的なマッチング効果が良くないことがわかりました。これは、ふるいにかけるよりも優れています。論文では、フリークが全体的に最も効果的であるという効果を比較していますが、そのような結果は得られません。研究を続けていきたいです。あなたがアイデアを持っているなら、アイデアを交換することを歓迎します、ああ、いや、私にアドバイスを与えることを歓迎します！に
二：
RANSACのこのアルゴリズム、cvFindFundamentalMatの代わりにopencvライブラリのcvFindHomographyを使用してください、これら2つは同じではないため。文字通り、1つはホモグラフィ行列を見つけることであり、もう1つは基本行列を見つけることです。 2つの違いは何ですか？ ？ ？に
これについては、「コンピュータビジョンのマルチビュージオメトリ」で説明されています。

1. 2Dホモグラフィ：2D画像の一連の点から別の画像の一連の点への射影変換。
2. 基本行列：チームのすべての点を、x`Fx = 0が成り立つ特異行列Fにします。これは、ランク2の3 * 3の特異行列であり、元に戻すことはできません。これは、エピポーラハーネス制約を介した2次元画像上の点のマッピングであり、2次元から1次元へのマッピングです。

詳細については、本や百度を読むことができます、または私が自由になるまで待ってから、詳細に説明してください。実はあまり知らないハハハ！もう一度見てください！注意深く話してください！に
以前、自分でRANSACアルゴリズムを書いたことがありますが、その効果は特に満足できるものではありませんでした。 RANSACアルゴリズム自体も比較的時間がかかるため、さまざまな偉大な神々も多くの改善方法を提案しています。 opencvがこれらの改善されたアルゴリズムをフォローアップしたのだろうか？推奨総説 'ランダムのためのユニバーサルフレームワーク
その中で言及されているプロサックである「サンプルコンセンサス」は、ローランサックの速度が大幅に向上しました！誰もが自分で学んでいるので、今後はRANSACについてのブログ記事を書きたいと思います。に
三：
コードではBFMatcherクラスが使用され、オブジェクトパラメーターには2つのBFMatcher :: BFMatcher（int normType = NORM_L2、bool crossCheck = false）があります。最初のものは距離を指します。ふるい分けまたはサーフで記述されている場合は、NORM_L2およびNORM_L2 ORBを選択し、BRISK、FREAKおよびその他のバイナリ記述子はハミング距離を使用します。これはNORM_HAMMINGです。NORM_HAMMING2はORBとして使用されます。 2番目のパラメーターは、crossCheckを実行するかどうかです。 trueを選択するのが最善です。これは私の実験でも確認されています。 trueを選択することは、knnマッチングでkを1に設定することと同じです。つまり、複数の近傍ではなく、最良のマッチのセットのみが返されます。 （注：knnmatchを使用する場合は、crossCheckパラメーターにfalseを選択してください）。一致の最良のセットのみを返すこの方法は、比率テストの代わりに使用できます。実験により、falseが選択された場合、1対多の一致と多対1の一致が返されることが証明されています。後期にランサックを使用した場合の効果は、非常に不十分な場合があります。 crossCheckはクロスマッチングであり、不正な一致を排除します。紙のサポートがあります、興味があればそれを検索することができます。

https://blog.csdn.net/luoshixian099/article/details/50217655

https://blog.csdn.net/lcb_coconut/article/details/52145293?locationNum=4