语义分割是场景理解的基础和前提，在语义分割基础上，结合其他信息，可以继续推理得到其他高层语义，如场景类别（街道、海边、城市亦或室内），真实世界中的三维结构，场景中正在发生的事件等，进而实现场景的理解。图像语义分割融合了传统的图像分割和目标识别两个分支任务，将图像分割成一组具有一定语义含义的块，并识别出每个分割块的类别，最终得到一幅具有逐像素语义标注的图像，如图(a)是原始图片，描述了市郊街区的场景，图(b)是得到的语义分割结果图片，其中，每个像素都被分配了一个类别标识。语义分割对于输入的视觉信息，即离散数字矩阵的每一个元素，都赋予了语义解释，完成了由低层语义到高层语义的推理，为视觉场景的理解提供了依据。此外，场景中某类目标的数量和单个体的准确位置作为重要的语义信息，一般通过目标检测来获取。目标检测得到的定位边界框（Bounding Box）可以确定单个体的位置，边界框数目则是对目标数量的估计，如图(c)所示，这些信息都是场景理解中的重要线索。因此，对单目标物体的检测与识别在场景理解的研究中有重要意义。基于视觉图像的场景理解方法通常利用各种图像处理手段对场景图像进行分割与分类，标记图像每一像素点的语义标签。但由于视觉传感器视野范围限制、图像质量易受光照的影响，并且缺乏物体的几何结构及空间信息，使得基于视觉的场景理解方法在实际应用中受到限制。

激光扫描是基于光探测与测距(LiDAR)原理，结合不同的平台定位/定姿方法获取场景三维点云的新兴技术。三维点云数据动辄TB级的数据量对信息提取提出了新的挑战。与视觉传感器相比，激光传感器具有视角大、不易受光照影响且结构及空间信息丰富的优点，使得基于三维点云的语义分割场景理解逐渐成为了研究热点。对于激光点云的语义分割如图所示，图(a)为激光点云可视化的原始图像，图(b)为语义分割后的点云图像。然而，激光点云也具有其固有缺陷，随着获取匹配的全景影像和三维点云的数据采集系统的不断研究与发展，基于多信息融合的三维场景语义分割方法具有重要意义。

联合建模

 室内外联合建模的目的主要用于在没有GPS信号或弱GPS信号的情况下，结合激光雷达和IMU等传感器设备进行数据融合，对室内或半结构的室外（森林）进行点云数据配准，对传感器进行定位定姿等处理，从而完成室内或半结构的室外的全局点云建模。研究内容主要包括点云配准、数据融合、同步定位与地图构建（SLAM）等。在应用层面，主要关注面向室内定位、室内3D地图构建、无人驾驶、无人飞行器的建模和对应的智能导航系统。

基于三维激光点云和全景影像数据的场景理解

SLAM背负式移动测绘机器人取得了高精度、高质量的三维激光点云数据以及彩色激光点云数据。该研究方向以三维点云数据向三维空间模型的智能转换为研究目标，主要研究内容包括点云分割、点云智能测量、三维目标提取、点云分析、三维场景重建等智能计算的理论和方法，以及激光扫描仪校准、点云数据配准、多传感器标定和软件工具的研究与开发等。在理论层面，主要利用特征提取、机器学习等方法进行大规模点云结构提取、场景理解等处理。

三维点云数据处理主要应用在城市、森林、铁路及古建筑等场景下的建模和对应的目标检测识别。

室外场景语义分割示意图

道路场景下单帧点云示意图

实时目标检测效果示意图

原始点云数据示意图

非地面点分割效果示意图

整体点云分类效果示意图

北京某两处山地公园，面积分别为360余亩和60余亩，现场采集分别用时40分钟和15分钟，经过处理，得到的点云数据如下：

在得到点云数据之后，可以基于该数据对树木等林业资源进行识别和划分，如图所示：