相机参数矫正理解

参考文档

根据三角相似原理,可以将image plane替换成virtual image plane,然后就得到下图:

将3D点 P=(X,Y,Z)T $P=(X,Y,Z{)}^T$投影到2D点 p=(x,y)T $p=(x,y{)}^T$, f $f$为焦距

• 如果是最简单的正交投影:
  
  XZ=xf,YZ=yf⇒x=fXZ,y=fYZ $$\begin{gathered} \frac{X}{Z}=\frac{x}{f},\frac{Y}{Z}=\frac{y}{f} \\ \Rightarrow x=f\frac{X}{Z},y=f\frac{Y}{Z} \end{gathered}$$
• 但是摄像头感知的像素点可能不是正方形的,所以,在 x,y $x,y$方向可能有不同的尺度缩放因子: k,l $k,l$
  
  x=kfXZ,y=lfYZ可重写为:x=fxXZ,y=fyYZ $$\begin{gathered} x=kf\frac{X}{Z},y=lf\frac{Y}{Z} \\ \text{可重写为:}x=f_x\frac{X}{Z},y=f_y\frac{Y}{Z} \end{gathered}$$

• 相机中心(上图中的点c)可能不在坐标系原点,所以可以定义相机中心的坐标为 (cx,cy) $(c_x,c_y)$
  

  x=fxXZ+cx,y=fyYZ+cy那么,内参矩阵:K=⎡⎣⎢⎢⎢fx000fy0cxcy1⎤⎦⎥⎥⎥ $$\begin{gathered} x=f_x\frac{X}{Z}+c_x,y=f_y\frac{Y}{Z}+c_y \\ \text{那么,内参矩阵}:K=\left[\begin{array}{lll}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right] \end{gathered}$$

  ---

• 上面推理成立的条件是相机帧(Camera frame)和世界帧(World frame)是对齐的,也就是相机帧和世界帧是平行的,而且相机帧所在的位置为联合坐标系中 z=0 $z=0$.可以利用旋转矩阵 CWR ${}_W^{C}R$和偏移矩阵 CWT ${}_W^{C}T$进行转化,C表示camera frame, W 表示 world frame:
  

  CX=CWR∗WX+CWT $${}^{C}X={}_W^{C}R\ast {}^{W}X+{}_W^{C}T$$
  
  CX ${}^{C}X$: Coordinates of 3D scene point in camera frame.
  WX ${}^{W}X$: Coordinates of 3D scene point in world frame.
  CWR ${}_W^{C}R$: Rotation matrix of world frame in camera frame
  CWT ${}_W^{C}T$: Position of world frame’s origin in camera frame
  偏移矩阵: T=⎡⎣⎢⎢TXTYTZ⎤⎦⎥⎥ $T=\left[\begin{array}{l}{T}_X\\ T_Y\\ T_Z\end{array}\right]$,旋转矩阵: R=⎡⎣⎢⎢r11r21r31r12r22r32r13r23r33⎤⎦⎥⎥ $R=\left[\begin{array}{lll}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$
  旋转矩阵是正交的:
  
  RTR=I $$R^{T}R=I$$
  
  因此, R−1=RT $R^{-1}=R^T$.假如: R=⎡⎣⎢⎢⎢RT1RT2RT3⎤⎦⎥⎥⎥, $R=\left[\begin{array}{l}{R}_1^T\\ R_2^T\\ R_3^T\end{array}\right],$那么:
  
  RTiRj={10if i==jotherwise $$R_i^T{R}_j=\{\begin{array}{ll}1& \text{if }i==j\\ 0& \text{otherwise}\end{array}$$

联合内参和外参

x=KCX=K(CWR∗WX+CWT) $$x=K{}^{C}X=K({}_W^{C}R\ast {}^{W}X+{}_W^{C}T)$$