カメラ内部パラメータ

ほぼ OpenCV: Camera Calibration and 3D Reconstruction をまとめ直しただけのもの

$$\begin{gathered} s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right] \\ =\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right] \end{gathered}$$

すなわち

$$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{X}_c/Z_c+c_x\\ f_y{Y}_c/Z_c+c_y\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime }+c_x\\ f_y{y}^{\prime }+c_y\end{array}\right]$$

• $u,v$ はピクセル単位
• $f$ はピクセルのスケール

である。

ここでゆがみがある場合、$(u,v)$ から $(x^{\prime },y^{\prime })$ への変換の間に $(x^{\prime \prime },y^{\prime \prime })$ を挟むことになる。すなわち

$$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{X}_c/Z_c+c_x\\ f_y{Y}_c/Z_c+c_y\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime \prime }+c_x\\ f_y{y}^{\prime \prime }+c_y\end{array}\right]$$

となる。
$(x^{\prime \prime },y^{\prime \prime })$ はゆがんだ座標系である。例えば

$$\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\end{array}\right]=\left[\begin{array}{c}{x}^{\prime }\frac{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}{1+k_4{r}^2+k_5{r}^4+k_6{r}^6}+2p_1{x}^{\prime }{y}^{\prime }+p_2(r^2+2x^{\prime 2})+s_1{r}^2+s_2{r}^4\\ y^{\prime }\frac{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}{1+k_4{r}^2+k_5{r}^4+k_6{r}^6}+p_1(r^2+2y^{\prime 2})+2p_2{x}^{\prime }{y}^{\prime }+s_3{r}^2+s_4{r}^4\end{array}\right]$$

である。ここで $(x^{\prime },y^{\prime })$ は前と同じく

$$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{X}_c/Z_c+c_x\\ f_y{Y}_c/Z_c+c_y\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime }+c_x\\ f_y{y}^{\prime }+c_y\end{array}\right]$$

である。

OpenCV へのカメラ歪みパラメータの渡し方

$$(k_1,k_2,p_1,p_2[k_3[k_4,k_5,k_6[s_1,s_2,s_3,s_4[{\tau }_x,{\tau }_y]]]])\text{ of }4,5,8,12\text{ or }14\text{ elements}$$

画像座標系とカメラ座標系の相互変換

例えば、画像のピクセル位置 $(u,v)$ から三次元方向を求める (unproject) 際は、

• $u=f_x{x}^{\prime \prime }+c_x$ で変換し
• 逆問題を解いて $x^{\prime \prime }$ から $x^{\prime }$ へ変換する
  必要がある。これには、
• undistortPoints: (u,v) から (x’,y’) を求める
• undistortImagePoints: (u,v) から d=0 なカメラにおける (u,v) を求める？
  などが役に立つ。

逆に、三次元方向から画像のピクセル位置を求める (project) 際は、

• $x^{\prime }=X_c/Z_c$ で変換し
• 式に代入して $x^{\prime }$ から $x^{\prime \prime }$ へ変換する (cv2.projectPoints で rvec と tvec をゼロとし K と d だけ与える)
  とよい。

キャリブレーション

内部キャリブレーションがうまくできたかどうかについては
https://kamino.hatenablog.com/entry/opencv_calibrate_camera#sec5
このチェックリストが参考になる

FoV

歪みがないカメラについて、縦の FoV（Angular FoV）は

$$\mathrm{FoV}=2{\tan }^{-1}(h/f_y)$$

で与えられる。$h=2c_y$ は画像の高さ（ピクセル）。

横も同様。