双目深度估计——视差到深度的两种推导方法
0. 基本假设
假设双目系统是标准形式，即：
- 两相机内参数相同，即焦距、分辨率等参数一致；
- 两相机光轴平行；
- 成像平面处于同一水平线；
假设以左相机坐标系为主坐标系，也就是说两相机只存在X轴方向上的平移变换。
1. 几何法（直观）
设上面的所有长度的单位为m
- 由上图标准双目立体系统俯视图所示， O L O_{L} OL?、 O R O_{R} OR?分别为左右相机光心， b b b为两相机基线长度， P P P为空间中的一点， P L P_{L} PL?、 P R P_{R} PR?分别为 P P P在左右相机成像平面上的像点， f f f为相机的焦距。
- 由
△
O
L
A
P
～
△
O
L
C
P
L
\bigtriangleup O_{L}AP \sim \bigtriangleup O_{L}CP_{L}
△OL?AP～△OL?CPL?和
△
O
R
B
P
～
△
O
R
D
P
R
\bigtriangleup O_{R}BP \sim \bigtriangleup O_{R}DP_{R}
△OR?BP～△OR?DPR?可得：
- Z f = P A x L ? x C = P B x D ? x R = P A + P B x L ? x R + ( x D ? x C ) = b d + ( x D ? x C ) \frac{Z}{f}=\frac{PA}{x_{L}-x_{C}}=\frac{PB}{x_{D}-x_{R}}=\frac{PA+PB}{x_{L}-x_{R}+(x_{D}-x_{C})}=\frac{b}{d+(x_{D}-x_{C})} fZ?=xL??xC?PA?=xD??xR?PB?=xL??xR?+(xD??xC?)PA+PB?=d+(xD??xC?)b?进而得到：
- Z = b f d + ( x D ? x C ) Z=\frac{bf}{d+(x_{D}-x_{C})} Z=d+(xD??xC?)bf?，由于两相机参数相等，因此 x D ? x C = 0 x_{D}-x_{C}=0 xD??xC?=0，故而有：
- Z = b f d Z=\frac{bf}{d} Z=dbf?
2. 相机参数推导法
由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有：
- 相机内参数： K L = K R = K = [ f x γ u 0 0 f y v 0 0 0 1 ] K_{L}=K_{R}=K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix} KL?=KR?=K=???fx?00?γfy?0?u0?v0?1????；
- 相机外参数（以右相机到左相机为例）： R R ? > L = E R_{R->L}=E RR?>L?=E， t R ? > L = [ t x t y t z ] = [ b 0 0 ] t_{R->L}=\begin{bmatrix} t_{x}\\t_{y}\\t_{z}\end{bmatrix}=\begin{bmatrix} b\\0\\0\end{bmatrix} tR?>L?=???tx?ty?tz?????=???b00????
- 设： P O L P_{OL} POL?、 P O R P_{OR} POR?、 P L P_{L} PL?、 P R P_{R} PR?的坐标分别为 P O L = [ X L Y L Z L ] P_{OL}=\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix} POL?=???XL?YL?ZL?????、 P O R = [ X R Y R Z R ] P_{OR}=\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix} POR?=???XR?YR?ZR?????、 P L = [ u L v L 1 ] P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix} PL?=???uL?vL?1????、 P R = [ u R v R 1 ] P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix} PR?=???uR?vR?1????；
P O L , P O R P_{OL},P_{OR} POL?,POR?为左右相机坐标系下的P点坐标， P L P_{L} PL?和 P R P_{R} PR?为像素坐标，相机内外参详解请参考相机模型
根据小孔成像模型，有：
-
P L = [ u L v L 1 ] = K L 1 Z L P O L = K L 1 Z L [ X L Y L Z L ] P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix}=K_{L}\frac{1}{Z_{L}}P_{OL}=K_{L}\frac{1}{Z_{L}}\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix} PL?=???uL?vL?1????=KL?ZL?1?POL?=KL?ZL?1????XL?YL?ZL?????
-
P R = [ u R v R 1 ] = K R 1 Z R P O R = K R 1 Z R [ X R Y R Z R ] P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix}=K_{R}\frac{1}{Z_{R}}P_{OR}=K_{R}\frac{1}{Z_{R}}\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix} PR?=???uR?vR?1????=KR?ZR?1?POR?=KR?ZR?1????XR?YR?ZR?????
-
P L = R R ? > L P R + t R ? > L = E P R + t R ? > L = P R + [ b 0 0 ] P_{L}=R_{R->L}P_{R}+t_{R->L}=EP_{R}+t_{R->L}=P_{R}+\begin{bmatrix} b\\0\\0\end{bmatrix} PL?=RR?>L?PR?+tR?>L?=EPR?+tR?>L?=PR?+???b00????
联立上面三个等式可以得到：
- P L ? P R = [ u L ? u R v L ? v R 0 ] = K 1 Z [ b 0 0 ] P_{L}-P_{R}=\begin{bmatrix} u_{L}-u_{R}\\v_{L}-v_{R}\\0\end{bmatrix}=K\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix} PL??PR?=???uL??uR?vL??vR?0????=KZ1????b00????
由左右相机成像平面在同一水平线上，那么v坐标相等，即 v L ? v R = 0 v_{L}-v_{R}=0 vL??vR?=0；
左右相机内参相等，都为 K = [ f x γ u 0 0 f y v 0 0 0 1 ] K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix} K=???fx?00?γfy?0?u0?v0?1????；
Z L = Z R = Z Z_{L}=Z_{R}=Z ZL?=ZR?=Z。
展开得：
- [ u L ? u R 0 0 ] = [ f x γ u 0 0 f y v 0 0 0 1 ] 1 Z [ b 0 0 ] = [ b f x Z 0 0 ] \begin{bmatrix} u_{L}-u_{R}\\0\\0\end{bmatrix}=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix}\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix}=\begin{bmatrix} \frac{bf_{x}}{Z}\\0\\0\end{bmatrix} ???uL??uR?00????=???fx?00?γfy?0?u0?v0?1????Z1????b00????=???Zbfx??00????；
- 设 d = u L ? u R d=u_{L}-u_{R} d=uL??uR?，有:
- Z = b f x d Z=\frac{bf_{x}}{d} Z=dbfx??
注意，这里的单位并不一致，视差 d d d的单位是像素，基线 b b b的单位为m， f x f_{x} fx?的单位为像素，请参考相机模型
3. 总结
几何法推导更加直观，可以帮助我们快速理解双目获取深度的原理；
相机参数推导法可以进一步加深我们对相机参数的理解，进一理解深度获取的本质问题。