基于视觉的三维重建，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。

1. 相关概念

（1）彩色图像与深度图像

彩色图像也叫作RGB图像，R、G、B三个分量对应于红、绿、蓝三个通道的颜色，它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像，与灰度图像中像素点存储亮度值不同，其像素点存储的是该点到相机的距离，即深度值。图2-1表示深度图像与灰度图像之间的关系。

这里写图片描述

图2-1 深度图像与灰度图像

Fig.2-1 The depth image and gray image

深度值指的目标物体与测量器材之间的距离。由于深度值的大小只与距离有关，而与环境、光线、方向等因素无关，所以深度图像能够真实准确的体现景物的几何深度信息。通过建立物体的空间模型，能够为深层次的计算机视觉应用提供更坚实的基础。

这里写图片描述

图2-2 人物的彩色图像与深度图像

Fig.2-2 Color image and depth image of the characters

（2）PCL

PCL（Point Cloud Library，点云库）是由斯坦福大学的Dr.Radu等学者基于ROS(Robot Operating System，机器人操作系统)下开发与维护的开源项目，最初被用来辅助机器人传感、认知和驱动等领域的开发。2011年PCL正式向公众开放。随着对三维点云算法的加入与扩充，PCL逐步发展为免费、开源、大规模、跨平台的C++编程库。

PCL框架包括很多先进的算法和典型的数据结构，如滤波、分割、配准、识别、追踪、可视化、模型拟合、表面重建等诸多功能。能够在各种操作系统和大部分嵌入式系统上运行，具有较强的软件可移植性。鉴于PCL的应用范围非常广，专家学者们对点云库的更新维护也非常及时。PCL的发展时至今日，已经来到了1.7.0版本。相较于早期的版本，加入了更多新鲜、实用、有趣的功能，为点云数据的利用提供了模块化、标准化的解决方案。再通过诸如图形处理器、共享存储并行编程、统一计算设备架构等领先的高性能技术，提升PCL相关进程的速率，实现实时性的应用开发。

在算法方面，PCL是一套包括数据滤波、点云配准、表面生成、图像分割和定位搜索等一系列处理点云数据的算法。基于不同类型区分每一套算法，以此把整合所有三维重建流水线功能，保证每套算法的紧凑性、可重用性与可执行性。例如PCL中实现管道运算的接口流程：

①创建处理对象，例如滤波、特征估计、图像分割等；

②通过setInputCloud输入初始点云数据，进入处理模块；

③设置算法相关参数；

④调用不同功能的函数实现运算，并输出结果。

为了实现模块化的应用与开发，PCL被细分成多组独立的代码集合。因此便可方便快捷的应用于嵌入式系统中，实现可移植的单独编译。如下列举了部分常用的算法模块：

libpcl I/O：完成数据的输入、输出过程，如点云数据的读写；

libpcl filters：完成数据采样、特征提取、参数拟合等过程；

libpcl register：完成深度图像的配准过程，例如迭代最近点算法；

libpcl surface：完成三维模型的表面生成过程，包括三角网格化、表面平滑等。

此类常用的算法模块均具有回归测试功能，以确保使用过程中没有引进错误。测试一般由专门的机构负责编写用例库。检测到回归错误时，会立即将消息反馈给相应的作者。因此能提升PCL和整个系统的安全稳定性。

（3）点云数据

如图2-3所示，展示了典型的点云数据（Point Cloud Data，PCD）模型。

这里写图片描述

图2-3 点云数据及其放大效果

点云数据通常出现在逆向工程中，是由测距设备获取的物体表面的信息集合。其扫描资料以点的形式进行记录，这些点既可以是三维坐标，也可以是颜色或者光照强度等信息。通常所使用的点云数据一般包括点坐标精度、空间分辨率和表面法向量等内容。点云一般以PCD格式进行保存，这种格式的点云数据可操作性较强，同时能够提高点云配准融合的速度。本文研究的点云数据为非结构化的散乱点云，属于三维重建特有的点云特点。

（4）坐标系

在三维空间中，所有的点必须以坐标的形式来表示，并且可以在不同的坐标系之间进行转换。首先介绍基本坐标系的概念、计算及相互关系。

①图像坐标系

图像坐标系分为像素和物理两个坐标系种类。数字图像的信息以矩阵形式存储，即一副像素的图像数据存储在维矩阵中。图像像素坐标系以为原点、以像素为基本单位，U、V分别为水平、垂直方向轴。图像物理坐标系以摄像机光轴与图像平面的交点作为原点、以米或毫米为基本单位，其X、Y轴分别与U、V轴平行。图2-4展示的是两种坐标系之间的位置关系：

这里写图片描述