gelsight 建立 lookup table
??gelsight 是一款可以精确重建物体形状的触觉传感器。在gelsight的重建过程中最关键的步骤是建立lookup table，使得我们可以建立光强I和反射率R的映射关系来完成高度的重建。
??如上面文章所说，一般在对 gelsight 进行 lookup table 的建立时，使用的方法都是在 gelsight 上按压一个小球（半径2mm的小球），使用小球的原因有两个：一是因为球面理论上有所有方向的梯度，二是因为球面的方程简单。
??建立 lookup table 前需要得到上面图片中小球的 mask，因为只处理有按压的部分。 当按入半个球时，以其圆心为原点建立坐标系如下图，过原点的球面方程为：
x
2
+
y
2
+
z
2
=
R
2
x^2+y^2+z^2=R^2
x2+y2+z2=R2
??其中 z 是表面高度，这是未知的，x 和 y 是可以知道的。对球面方程求 z 对 x 和 y 的偏导，有
2
x
+
2
z
?
z
?
x
=
0
2
y
+
2
z
?
z
?
y
=
0
2x+2z\frac{\partial z}{\partial x}=0 \\ 2y+2z\frac{\partial z}{\partial y}=0 \\
2x+2z?x?z?=02y+2z?y?z?=0
化简后
?
z
?
x
=
?
x
z
?
z
?
y
=
?
y
z
\frac{\partial z}{\partial x} = -\frac{x}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{z}
?x?z?=?zx??y?z?=?zy?
??但前面说了 z 是未知的，所以需要对偏导进行转换，可以将偏导改写为
?
z
?
x
=
?
x
r
?
r
z
?
z
?
y
=
?
y
r
?
r
z
\frac{\partial z}{\partial x} = -\frac{x}{r}*\frac{r}{z} \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*\frac{r}{z}
?x?z?=?rx??zr??y?z?=?ry??zr?
??r 是可以知道的，可以通过 gelsight 得到的图片计算。gelsight 得到的图片其实就是俯视图，俯视图就是球面在 xOy 面的投影，那么就可以通过计算像素距离来得到，这需要先知道 gelsight 得到的图片中每像素对应多少毫米，即 pix/mm。
??接下来观察上面的图片可以看出，
r
/
z
r/z
r/z 其实就是
t
a
n
(
θ
)
tan(\theta)
tan(θ)，z 不知道，但
θ
\theta
θ 可以通过
a
r
c
s
i
n
(
r
/
R
)
arcsin(r/R)
arcsin(r/R) 得到，所以
r
z
=
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
\frac{r}{z}=tan(arcsin(\frac{r}{R}))
zr?=tan(arcsin(Rr?))
??所以
?
z
?
x
=
?
x
r
?
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
?
z
?
y
=
?
y
r
?
t
a
n
(
a
r
c
s
i
n
(
r
R
)
)
\frac{\partial z}{\partial x} = -\frac{x}{r}*tan(arcsin(\frac{r}{R})) \\ \frac{\partial z}{\partial y} = -\frac{y}{r}*tan(arcsin(\frac{r}{R}))
?x?z?=?rx??tan(arcsin(Rr?))?y?z?=?ry??tan(arcsin(Rr?))
??下面就可以建立 lookup table ，首先设置一个 bins（将RGB三通道每通道划分为 bins 份）。对 gelsight 得到的图片的三个通道归一化后乘以（bins-1）再向下取整，这样RGB的值就会限制在【0，bins-1】。初始化三个数组，每个大小为（bins，bins，bins），记为countRGB， RGBgradx 和 RGBgrady。
??得到 mask 图片中值为1的所有位置下标，在 gelsight 得到的图片上循环这些位置（即小球包含的像素的位置），得到对应像素的RGB三通道的值r、g、b，将这个作为索引在 countRGB 对应位置+1，即 countRGB[r,g,b] += 1，记录这个像素值出现的次数。
??对于梯度的存放也和 countRGB 一样，但是在放入对应的值前需要做加权，即如
if countRGB[r,g,b] != 0:
RGBgradx[r,g,b] = (RGBgradx[r,g,b] *countRGB[r,g,b] + gradx) / (countRGB[r,g,b] +1)
else
RGBgradx[r,g,b] = gradx
??对于没有对应像素值的位置，即countRGB[r,g,b] = 0的位置，可以采用插值，最简单的是计算该位置离那个有值的位置最近，就将那个有值的位置的值取过来附上（最近邻插值）。
