相机标定（camera calibration/resectioning）

为什么需要相机标定？

• 计算机视觉任务中，从 相机获取的图像 计算三维空间中物体的几何信息，并由此 重建和识别物体，而空间物体表面某点的 三维几何位置与其在图像中对应点之间的相互关系是由相机成像的几何模型决定的，这些几何模型参数就是相机参数。即，不做相机标定，根本就不可能建立三维空间和图像之间的关系。

相机分类

单目，双目，深度，全景 etc

• 单目相机（实验需求，仅记录单目）

  我们平时最常见的相机类型，手机、电脑、相机等等都是这种类型。

• 成像原理

  成像基于小孔成像

  虚像和实像是完全对称，数学上可以等价，推到公式比较方便

?图的数学表达就是?； 即，正立的虚像代替倒立的实像，三维空间的点P（最右边）在成像平面（image frame）上成的像就是小p了。大P，小p还有相机中心C在同一条直线上。

坐标系

世界坐标系

• 是一个三维直角坐标系，以某个点为原点，为了描述目标物在真实世界里的位置而被引入。世界坐标系的位置可以根据实际情况自由确定。

相机坐标系

• 以相机为原点建立的坐标系，为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。

  图中Xw指的是点X在世界坐标系下的坐标（x,y,zin world），Xc指相机坐标系下的坐标（x,y,z in camera）；通过旋转（Rotate）和平移（即，变换矩阵）来把世界坐标系转化成相机坐标系
  

• R和t就是相机的外部参数，R为33的旋转矩阵，t为31的平移矢量，这个参数随着相机的移动而变化（左边是相机坐标系的齐次坐标，最右边是世界坐标系的齐次坐标）

图像坐标系

• 描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，是我们真正从相机内读取到的图像所在的坐标系。

  ?图中相机坐标系下的点P(X, Y, Z)在相机成像平面上成的像为P’(X’, Y’, Z’)；根据三角形相似原理， Z/f = X/X' = Y/Y' ==> X' = f * X/Z || Y' = f * Y/Z (f是焦距）

如?图所示，成像过程一般是以图像中心点为坐标系原点的（XOY），而我们做图像处理的时候习惯于从左上角为图像坐标系原点（即像素坐标系（uov）），所以需要平移。图像坐标系单位（mm），像素坐标系单位（pixel（整数））。

? 图像坐标系转像素坐标系； dX、dY分别为像素在X、Y轴方向上的物理尺寸，u0,v0为主点（图像原点）坐标。

参考

• https://www.sohu.com/a/336803765_120071391
• https://zhuanlan.zhihu.com/p/108840110 （相机种类）
• https://www.cnblogs.com/cv-life/p/10053331.html （相机成像通俗易懂）