カメラ外部パラメータ

$R_{\text{cw}}$ とか $R_{\text{wc}}$ がいつもごっちゃになるのでメモ

Must Read

• OpenCV: Camera Calibration and 3D Reconstruction
• SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～ | PPT (slideshare.net)

このページにおける記法

ある点 X があり、
$X_{\text{w}}$: 世界座標系における点 X の座標
$X_{\text{c}}$: カメラ座標系における点 X の座標
のとき、 R と t が以下のような関係を持つとする。
$X_{\text{c}}=R_{\text{cw}}{X}_{\text{w}}+t_{\text{cw}}$
$X_{\text{w}}=R_{\text{wc}}{X}_{\text{c}}+t_{\text{wc}}$

cw は世界座標系をカメラ座標系に変換するためのパラメータであるということを意味する。

• $\text{c}\leftarrow \text{w}$ なので世界座標系からカメラ座標系に変換するものである、と覚える
• 一般に座標系 A から B への変換行列を BA という添え字で表すことが多い ($x_{\text{B}}=R_{\text{BA}}{x}_{\text{A}}$) ので、これに沿っている
• 読み方は camera from world とか camera-world とか world to camera

具体例

• 一般に外部パラメータというと cw を指す
• cv2.solvePnP が返してくるのは cw
  • ただし回転に関しては回転行列ではなく Rodrigues vector
• COLMAP で用いられているものも cw
  • ただし回転に関しては wxyz の quaternion
• 一方、ORB-SLAM3（というより EuRoC データセットか？）の保存フォーマットは wc (timestamp tx ty tz x y z w の順)
• nbhr/pycalib で plotCamera が受け取るのは wc
  • でも plotCameras の受け取る camera_params は cw
  • なので、plotCameras 関数の中で これらを変換して から plotCamera に渡している

性質

R の相互変換

関係式を変形して
$X_{\text{c}}=R_{\text{cw}}{X}_{\text{w}}+t_{\text{cw}}=R_{\text{wc}}^{-1}{X}_{\text{w}}-R_{\text{wc}}^{-1}{t}_{\text{wc}}$
であることから
$R_{\text{cw}}=R_{\text{wc}}^{-1}=R_{\text{wc}}^{\top }$
が成り立つ。
よって $R$ は 直行行列 である。

t の相互変換

上の変形より $t_{\text{cw}}=-R_{\text{wc}}^{-1}{t}_{\text{wc}}$ が成り立つ。

同様に $t_{\text{wc}}=-R_{\text{cw}}^{-1}{t}_{\text{cw}}$ も成り立つ。

それぞれのパラメータの意味

$t_{\text{wc}}$ : 世界座標系におけるカメラの位置

• これは最初の関係式に $X_{\text{c}}=0$ を代入すると容易にわかる: この点 $X_{\text{c}}=0$ はカメラ座標系の原点、すなわちカメラのある場所だが、このとき $X_{\text{w}}=t_{\text{wc}}$ である。
• 同じようにして、「世界座標系における何かの位置」は一般に wc ベクトルで表されている。
  • よって，例えば下の 座標系に対する操作 で座標系を変換する時にこれを変換することも忘れないようにする

$t_{\text{cw}}$: 同様に、 カメラ座標系における世界座標原点の位置

• 言い換えると、カメラから見える世界座標系原点の位置
• よって世界全体を回転させたときにこのベクトルは変化しない

$R_{\text{wc}}$: これの縦ベクトル R[:, i] は、カメラ座標系の x,y,z 軸が世界座標系でどちらを向いているかを表す

• 証明：例えば、$X_{\text{c}}=(1,0,0)$ はカメラ座標系の x 軸上にある点であるが、最初の式の定義によりこれに対応する $X_{\text{w}}$ は $R_{\text{wc}}$ の一番左の縦ベクトルとなる（平行移動は回転に関係ないので $t$ は無視）。y, z も同様。
• これの横ベクトル R[i] は、逆に、世界座標系の x,y,z 軸がカメラ座標系でどちらを向いているかを表す

$R_{\text{cw}}$ についても、$R_{\text{wc}}=R_{\text{cw}}^{\top }$ より行列の縦と横を入れ替えて同じことが言える（横ベクトル R[i] がカメラ座標軸の世界座標系における向き、縦ベクトル R[:,i] が世界座標軸のカメラ座標系における向き）

便利な性質

$R_{\text{wc}}$ に右から回転行列 $R$ をかけると、そのカメラを $R$ だけ回転させられる

• なお、計算上のハックとして、$R_{\text{wc}}$ に右から $R$ をかけるのは、$R_{\text{cw}}$ に左から $R^{-1}$ をかけるのに等しい

$R_{\text{cw}}$ に右から回転行列 $R$ をかけ、$t_{\text{wc}}$ に右から $R$ をかけるのは、世界全体を $R$ だけ回転させることに等しい

• $t_{\text{cw}}$ ではない！ 上に書いたように、$t_{\text{cw}}$ は世界全体を回転させたとき変化しないので操作を行う必要はない

つまり、世界座標系を回転させるには以下のような変換をする

R_cw, t_cw # 回転前のカメラパラメータ。これから `*_new` を求める
R_cw_new = R_cw @ R
t_wc = -R_cw.T @ t_cw # 最初の関係式より
t_wc_new = R.T @ t_wc # numpyの演算の都合上こう書いているが、t_wcはベクトルなのでこれは右からRをかけているのに等しい
t_cw_new = -R_cw_new @ t_wc_new # 最初の関係式より
 
# 色々変形したが、結局t_cw_newはt_cwに等しい（すなわち下が成立する）。
assert np.allclose(t_cw, t_cw_new)
# cwでtranslationを扱っている場合は，世界全体を回転させてもtを変更する必要はない。

座標系に対する操作

座標系に対してある操作を行いたいときにどういう変形をすればいいかという観点でまとめ直すと以下のようになる：

世界座標系全体をスライドしたい・あるカメラ/物体をスライドしたい

スライドしたいベクトル $t_{\text{wc}}^{\prime }$ の分だけ translation を動かす。

$$t_{\text{wc}}^{\text{new}}=t_{\text{wc}}+t_{\text{wc}}^{\prime }$$

カメラの translation を cw で管理している場合は，以下の関係

$$t_{\text{cw}}^{\text{new}}=t_{\text{cw}}+t_{\text{cw}}^{\prime }=t_{\text{cw}}-R_{\text{wc}}^{-1}{t}_{\text{wc}}^{\prime }$$

に注目すると、$-R_{\text{wc}}^{-1}{t}_{\text{wc}}^{\prime }=-R_{\text{cw}}{t}_{\text{wc}}^{\prime }$ だけスライドすればいいとわかる。ただし，ここで用いる $R_{\text{wc}}^{-1}$ は動かしたいカメラのものを用いることに注意。

世界座標系全体を $s$ 倍に拡大したい

wc であれ cw であれ、$t$ を $s$ 倍する。

世界座標系全体を回転したい

世界全体を回転し、そこに置かれているカメラや物体の座標を動かすが、それらの間の位置関係は変わらないようにしたい場合、以下のような変換を行う。

• $R_{\text{cw}}$ に右から回転行列 $R$ をかける（すなわち，$R_{\text{wc}}$ で管理しているなら左から回転行列 $R^{-1}$ をかける）
• translation を $t_{\text{wc}}$ で管理している場合は、これに右から $R$ をかける
  • 「世界座標系における何かの座標」はすべて wc であるため，これらにも $R$ をかける
  • $t_{\text{cw}}$ で管理しているものには、何もしなくてよい

あるカメラを回転したい

• $R_{\text{c1,w}}$ に左から回転行列 $R_{\text{c2,c1}}$ をかける
• translation を $t_{\text{cw}}$ で管理している場合は、$R$ を右からかける
  • $t_{\text{wc}}$ で管理している場合は、何もしなくて良い

関連資料

• 内部パラメータについて カメラ内部パラメータ
• 座標系の取り方について 三次元座標系の種類
• OpenCV でのキャリブレーションについて OpenCV calibrateCamera関数のプロになる - かみのメモ (hatenablog.com)
• 回転行列以外の回転表現について 回転ベクトル・回転行列・クォータニオン・オイラー角についてまとめてみた - かみのメモ (hatenablog.com)