面向图像的多元化理解是计算机视觉学科中的重要研究内容，主要解决目标跟踪、目标检测、语义分割以及实例分割等计算机视觉相关问题，其中，目标跟踪是追踪某个特定物体位置信息；目标检测是判定一组图像数据中是否包含某个特定的物体，图像特征或运动状态；语义分割试图在语义上理解图像中每个像素的角色（比如，识别它是汽车、摩托车还是其他的类别；实例分割则将不同类型的实例进行分类，比如用 5 种不同颜色来标记 5 辆汽车。

面向图像的多元化理解在制造业、工业检验、文档分析、医疗诊断、军事目标跟踪、智能驾驶等领域具有广泛的应用。

具体来说，目标检测技术可以用来监控检测高速公路上的车辆,分析其状态和行为,出现异常及时报警,避免因酒驾、疲劳驾驶等违规行为而造成严重后果。检测军事目标,对图像中的军事目标和自然背景两类样本进行学习后,建立目标和非目标有效区分的识别模型,发现感兴趣的人造军事目标, 结合图像识别技术与红外技术实现精确打击,从而提高国防战略预警系统预警能力以及导弹打击能力。

现在主要有如下应用：

1)城市中的智能交通管理以及道路检测;

2)银行、海关监控系统对于特定人员与行为的检测;

3)军事战略预警、军事目标检测与导弹精确制导等。

从处理技术上讲，目标检测属于图像分割领域。图像分割是将图像分成各具特性的区域并提取出感兴趣目标的技术;目标检测技术是带有限制条件的图像分割技术。其解决的科学问题为特征场景中，分割出感兴趣的特定目标。其主要的方法包括：基于几何特征的目标检测算法、基于分形特征的目标检测算法、基于概率模型的目标检测算法、基于水平集的目标检测算法、基于聚类的目标检测算法、基于深度学习的目标检测算法等。

部分应用效果图

1）汽车全景成像系统能给驾驶员提供车辆四周近距离环境信息的实时鸟廠图像，消除车辆周围的视觉盲区，基于全景图像的标识线、车辆以及行人等目标的检测可以辅助驾驶员完成精确和安全的驾驶操作，有效地防止因为驾驶盲区的存在而导致的行车事故。

2）下图为日常生活中常见的摄像头设备。

通过目标检测技术对摄像头图像的处理，可以识别出犯罪嫌疑人的行为并确定犯罪嫌疑人的身份。

3）下图中两名可疑的犯罪嫌疑人在交易，目标检测技术可以很好地跟踪犯罪嫌疑人并检测出嫌疑人的行为。如果发现嫌疑人有非法行为则及时预警。

4）下图为在银行中的摄像头通过目标检测快速找出特定人员，这一过程中包括目标跟踪、目标检测与人脸识别等技术。通过这一技术，警方可以快速找到犯罪嫌疑人并实施抓捕。图16是一个门禁系统软件，它同时集合了目标检测与人脸识别的技术，通过摄像头识别进入者的身份。目前这种混合技术在许多地方已经得到了应用。

5）下图为航拍图像中的特定目标检测，首先通过训练分析目标特征，对特定目标与环境建模，建立目标库，然后在不同的图片中统一识别，达到快速检测地面目标的目的。本技术可以克服图像的光照、旋转、平移等因素的变化，具有很好的鲁棒性。

6）下图利用优酷网中的数据资源，对于公路上行驶的汽车进行目标检测，通过提取目标物体的特征，可以自适应不同环境的变化而准确地检测出目标。

7）下图为比较典型的目标检测实例，本技术不但可以精确地确定物体的位置，同时也可以通过识别物体本身的特征来识别出是何种物体，如白色的物体是一个U盘，而黑色物体是一个手机。

目标跟踪是计算机视觉领域里的一项重要任务。随着计算机的普及，高质量摄像头的使用，以及人们对视频自动分析方面日益增长的需求，目标跟踪算法研究逐渐成为计算机视觉领域研究人员关注的热点。最近几十年，该领域取得了显著的发展。目标跟踪通常是指对图像序列中的指定目标进行有效地监视，获得目标在图像坐标系的位置、形状、运动参数、以及运动轨迹，从而为进一步的图像处理和分析，如人脸识别，自动监视，智能交通，车辆导航，军事目标探测等更高一级任务的完成提供基础。

现在主要有如下应用：

1）公安刑侦破案，通过查询目标人物人像数据，检索寻找数据库中是否存在该对象重点人口基本信息；

2）门禁系统，受保护的地区可以通过人脸识别辨识试图进入者的身份，如人脸识别门禁考勤系统，人脸识别防盗门等；

3）军事领域，可应用于航空侦察、军事目标探测等。

本研究解决了目标跟踪的关键问题：跟踪的长期性、准确性、适应性。目标跟踪主要包括图像切割、特征提取、目标匹配等内容。本研究将图像划分为不同尺度的若干个图像块，特征提取和匹配都是基于图像块的，从大量的图像块中提取特征点，保证了跟踪的准确性。本研究将基于Lucas-Kanade光流法的短期跟踪模块与基于随机蕨丛分类器的检测模块相融合，可以解决目标经移动、遮挡后的跟踪问题，保证了跟踪的长期性。引入模型更新机制，将目标经过翻转、变形后的样本加入模型，使得跟踪对于目标外观具有很强的适应性。

部分应用效果图如下：

1）跟踪高速运动的汽车

选中公路上高速行驶的车辆进行跟踪，跟踪效果下图所示。由此可见，虽然车辆快速移动，但是跟踪效果良好；其中，当车辆被路牌部分遮挡时，目标丢失，这是由于本研究设置的置信度较高，虽然检测到了目标，但是为了保证跟踪结果的可靠性，所以没有目标输出。当遮挡消失后，目标立刻重新跟踪。而且由所示曲线可以看到，跟踪的结果置信度大多在0.7以上，这意味着当前跟踪目标是真实的目标的概率大于70%（置信度大于0.7则认为跟踪的目标为真实目标）。

2）跟踪行人

由上面的跟踪效果可知，本研究在对刚体目标进行跟踪时跟踪效果良好，对于非刚体对象——人，本研究同样有着令人满意的跟踪效果。如图所示，在复杂环境、行人外观一直发生变化的情况下，置信度输出令人满意（大多超过0.7），而且即使当行人经过遮挡物之后，长期跟踪算法仍然能够很好的识别出目标的位置，使得跟踪算法更具智能性。

3）跟踪不规律运动的目标

以上两个应用，都是跟踪规律运动的目标。图5所示的是跟踪不规则运动的非刚体对象——熊猫的跟踪结果。目标出现在场景下，无论运动轨迹和距离远近，都有效地实现了对目标的跟踪。

4）本研究在人脸上的跟踪应用

根据以上的应用效果已经可以证明本研究能够长期、稳定地跟踪各类目标，下面如图6所示，本研究在针对人脸的识别、跟踪上也有着很好的结果。

5）本研究在全景图像中的跟踪

在全景图像中，本次跟踪的目标是一个行人，中间有路人遮挡，由图 7的跟踪结果显示，长期目标跟踪算法对全景图像中的目标仍然可以很好地的进行跟踪，尽管全景图像与普通图像不同，但并不影响跟踪方法的效果。

移动机器人VSLAM技术是指机器人利用视觉系统实现自主定位与地图创建，是一种非传统的导航技术。随着计算机视觉技术的迅猛发展，基于视觉的机器人定位方法因其信息量大、适应范围广而受到人们的普遍重视，已经成为机器人导航技术的研究热点。当机器人面对复杂的大规模环境，而无法对其进行实时遥控时，机器人必须进行实时地自主定位与地图创建才能完成导航任务。尽管在这一领域已有很多广泛深入的研究，但面对当前在复杂化、非结构化、动态、大规模环境中的SLAM问题依然是个需要突破的科研难题。而基于视觉移动机器人自主定位与地图创建，由于获得环境信息丰富适用性强，而引起研究者广泛关注。

现在主要有如下应用：

1)在未知环境以及危险环境利用机器人实现排障排险工作，需要机器人感知环境信息，进行自主导航;

2)探测器登陆未知环境的星球进行科研研究，探测器面对复杂的大规模环境，而无法对其进行实时遥控时，必须通过实现同步定位与地图创建才能完成导航任务，例如美国“机遇号”、“勇气号”以及“好奇号”等火星探测器;

3)未知海底环境下的水下航行器（AUV）导航技术研究。

4)由于摄像机善于捕捉运动信息，视觉信号抗干扰能力强等优点，可以利用视觉信息实现无人机同步自主导航。如图所示无人机，下方安置摄像机系统，可以利用其采集的视觉信息进行无人机自主定位和导航。

从处理技术上讲，移动机器人VSLAM技术属于导航技术领域。为了加强跟踪与定位目标能力，采用具有360度全方位视角的全景视觉VSLAM。移动机器人全景视觉VSLAM首先利用多摄像机全景图像采集系统并结合图像拼接技术得到球形全景图，接着利用SIFT特征提取方法提取特征，利用球形摄像机模型以及多视图几何约束原理恢复三维信息。并且以扩展卡尔曼滤波与粒子滤波方法进行系统的更新，在复杂未知环境下实现机器人的自主定位与地图创建。

部分应用效果图

1)实验装置

本实验室研发的实验装置如下图所示：

2)移动机器在未知环境下自主定位导航

图10和图11为移动机器人位置环境下自主定位导航图，其中蓝色的线为机器人运动的轨迹。

3)自主导航轨迹与人为预设轨迹以及比较移动机器人SLAM地图创建

移动机器自主导航其目的机器人能按照人为预先规定的轨迹移动，比较自主导航轨迹和人为预设轨迹，由图可知他们轨迹几乎吻合。移动机器人SLAM系统除自主定位，还需同步创建地图，其创建的地图如图灰白色部分，其相当于得到移动机器人所处环境的三维模型。