基于全景图像的三维重建项目

街道级场景三维重建

街道级场景三维重建是指利用手持相机或采集车等设备拍摄的街道级别的图像，恢复出建筑物等场景的三维结构，同时得到相机拍摄时刻所处的位置和姿态。其重建结果可以达到毫米级的精度，同时可以得到场景的稠密点云，使得人们可以在该模型上进行虚拟漫游、实景测距等相关操作。

根据采集设备的不同，采用了两种不同的重建策略。一种是利用手持相机拍摄或车载单个摄像机拍摄的图像序列进行重建，另一种是利用全景摄像机采集的全景图像进行重建。

基于单摄像机图像序列的三维重建

普通的数码相机即可拍摄用于三维重建图像，数码相机一般有平视取景相机和单反相机等。所谓单摄像机图像序列，即用于重建的所有图像均为同一相机拍摄，所以所有图像的内参数均相同且保持不变；而且图像序列中的图像是有序的，按照拍摄的顺序依次排列。根据单摄像机图像序列的这两个特点，对传统的基于图像的三维重建方法进行了改进。主要有以下几个部分：

• 提出了基于GPU并行计算的特征提取和匹配方法
• 提出了基于滑动窗口的特征匹配策略
• 提出了基于GPU并行计算的捆集调整优化算法
• 重建过程中固定相机内参数不变，只对外参数进行优化
• 采用了多视图几何的方法去除重建结果中的杂点并进一步优化相机外参数

基于单摄像机图像序列的三维重建流程如上图所示，通过采用上述改进方法，解决了三维重建过程耗时过长的问题，同时大大提高了重建的精度。

本实验室利用手持相机采集了北京故宫、天坛的数千张图像，并利用上述方法对其进行了三维重建。结果如下：

从上述结果可见，基于单摄像机图像序列的三维重建对于街道级场景中建筑物的重建效果非常理想。

基于球形摄像机模型的全景三维重建

利用单摄像机图像序列虽然可以取得良好的重建效果，但是单摄像机图像序列的视角有限，不能够反映全部场景的信息，本实验室首次提出球形摄像机模型及其对积极和理论，球形摄像机模型是表达全景信息的一种理想模型，它能够将当前视点所能感知的空间信息完整地、连续地、统一地表达出来。基于球形摄像机模型的全景三维重建方法仅需要相对少量的全景信息数据就可以覆盖待重建的场景，因此它可以有效地简化重建问题的规模并提高重建效率，尤其在对大尺度场景的建模应用中优势更为明显。

球形图像的特征点提取和匹配

本实验室针对基于球形摄像机模型的全景三维重建提出了以下几种方法：

1）球形图像的特征点提取和匹配算法

2）球形图像特征点跟踪算法

3）基于球形摄像机模型的三维重建算法

4）基于GPU的大规模场景重建并行算法

利用上述方法得到的重建效果如下：

部分场景的稀疏点云重建结果

由上图可见，基于球形全景摄像机的全景三维重建方法可以更完整的恢复出较大场景的三维结构，保留了场景中大量的细节信息，从而证实了该方法的优势。