全景实景混杂现实技术通过计算机图像图形技术和计算机视觉技术，将现实环境中不存在的虚拟对象精确地融合在真实环境中，使真实的环境和虚拟的物体叠加到了同一个画面或空间同时存在，两种信息相互补充、叠加，从而增强了全景实景图片的表现力，进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。总之，该技术提供了一种前所未有的表现立体三维真实场景的有力手段，见图所示。

眼睛的视觉感受因视场模型的不同而异，全景视场模型中的柱形全景、立方体全景和球形全景会使人产生不同的视觉体验，其中以球形视场最符合人眼的视觉习惯，而其它两类视场模型会带来严重的图像和视觉感受畸变。因此，不同于上海杰图公司的立方体视场模型，本项目采用同美国谷歌(Google)公司类似的球形全景视场，给观察者带来更真实的视觉体验。

单一视点中心投影技术

每幅图像都有唯一的拍摄视点，一幅完美的有强烈真实感的全景图像也不例外，也应有其对应的唯一视点。目前，国内国际上比较常见的获取全景图像的手段是通过对多方向图像的拼接和融合实现的，但其获得的全景图像并不完美，存在明显的拼接错位现象，导致观察视点不统一，不满足单一视点中心投影，使得图像中楼房建筑出现了弯曲变形。

本项目中，不直接采用拼接融合的方法，而是采用自行构建的球面映射的理论体系和算法以获得保留透视投影关系的球形图像。此球形图像不会存在拼接错位现象和多视点的问题，即符合单一视点中心投影。如图所示。该项技术是构建全景实景混杂现实系统的核心技术。

全景位姿图像技术P3Image

全景位姿图像Panoramic Position and Posture Image，简称为P3 Image。通过从全景实景图像中提取和匹配自然特征点，计算每帧全景实景图像在现实世界中的实际地理位置和实际拍摄姿态，使得每一幅全景图像都具有方位姿态矢量。

大规模场景三维建模技术

采用自主研发的移动采集设备，在车辆高速行驶中完成对城市场景三维数据的采集，三维数据经过专门的处理软件，可以建立与实景图像匹配的城市场景三维模型。具体过程如下：

1. 通过激光测距仪扫描场景的深度
2. 将深度数据与实景图像融合，建立与实景图像匹配的场景三维模型

经过上述步骤将会得到城市场景数据，如图所示：

实景可测量技术

应用计算机视觉理论算法对全景实景图像进行处理分析并获取其深度信息。这时的全景实景图像的每一个像素都具备了深度信息，也就是说这时的全景实景图像中的事物都具备了三维的坐标。因此可以在实景空间进行测量等应用。

全景图像信息与地理信息融合技术

本项目将全景位姿图像(P3 Image)的位姿信息与GIS数据库信息进行整合，使全景实景图像数据流与GIS数据地图相连接，形成三维全景实景地理信息平台。如图所示。

无错位拼接技术

在观察全景图像中的景物时，景物的连续性与场景的平滑过渡影响着人的视觉观察效果。而在通常情况下，多方向的多摄像机系统是全景图像的主要获取途径，需要采用多方向图像拼接和融合技术得到全景图像，因此容易导致拼接错位，定会影响视觉效果。以美国谷歌(Google)公司全景为例，采用此方法获得的全景图像存在明显的拼接错位，如图所示。

与美国谷歌(Google)公司不同，本项目不采用传统的全景图像获取手段，在其提出的球形摄像机模型的基础上，直接通过球面映射的方法获得保留有透视投影关系的球形图像，实现图像的无缝“拼接”，避免了拼接错位现象的出现。如图所示。

图像图形深度混杂技术

本项目采用全景位姿图像（结合了位姿信息的图像）技术，在全景实景环境中实现了3D模型（3D人物模型和实体模型）加载显示并与实景环境有机的结合，如人物可以在场景中实现如同在真实环境中的运动，体现了虚拟与现实场景的深度混杂。如图所示。

一般的空间地理信息公共数据通常只采用二维GIS或三维GIS，这些传统平台存在着表达信息不够直观、可视化效果差、三维空间数据管理能力差等问题。而基于全景实景混杂现实技术的地理信息公共数据支撑平台可以有效的解决上述问题，为数字城市的建设提供直观生动的空间地理信息公共数据保障。该平台在数字城市总体框架中的支撑作用如图所示。

使用基于全景实景混杂现实技术的地理信息公共数据支撑平台，不仅能有效的支撑整个数字城市的建设，更能成为数字化城市的崭新亮点。该平台的应用，一方面，对城市的建设者和管理者提供最新技术，能促进人们观念上的更新和认识上的转变，有利于城市的建设水平和管理水平更上一个新台阶；另一方面，在全国范围内，率先应用最新技术发展的成果，可以本城市的高端形象和地位，在国家住建部、信产部、科技部等相关部门的应用成果示范展示上，都将获得突破性的宣传效果。

全景实景数字城管指挥平台，就能避免上述问题。例如，根据案件位置寻找案件现场时，可以利用三维全景实景空间地理信息公共数据支撑平台浏览街道从而快速找到案件现场。又如，在指挥大厅的大屏幕上可以显示区域内街道任何一点周围的环境，使得不离开指挥大厅就能够像在现场一样指挥城管行动。

全景实景城市应急联动指挥平台

全景实景城市应急联动指挥平台可以解决无法了解事发地点环境状况的问题。它可以将预先采集好的全景实景图像调出，并可在事件发生现场及其附近环境漫游，给指挥者决策提供依据。

全景实景城市交通指挥中心

利用全景实景城市交通指挥中心的全景实景图像可以观看任意交通线路上的实景，结合混杂现实技术可以将交通监控视频、交通信号灯、交通实时流量、交通诱导屏信息等实时交通信息显示到全景实景城市交通指挥中心大屏幕上。从而真实地展现交通细节，不在现场却能随时随地看到正在进行的全方位、立体交通实时情况。

全景实景可视化城市

在我们国家构建和谐社会和建设小康社会的进程中，安全是大众最关心的热点。构建综合安全防控体系是保障安全的关键，可视化监控联网系统建设则是综合安全防控体系建设的基础平台。

引入全景实景后，每一个摄像头的周围环境，每一个摄像头所监控区域范围都以全景实景方式展现，附近的摄像头及其监控的范围也能够明确显示。对于分析监控区域的案件发生过程、案件的破获有着非常大的帮助。

全景实景城市固定资产综合管理系统

全景实景城市固定资产综合管理系统由于以三维全景实景地理信息空间数据支撑平台为基础，可以准确地表达空间中物体的三维信息，因此能够在三维全景实景系统中以真实可视化的方法表达城市中路灯、路面、桥梁、建筑等固定资产的三维信息及其他详细信息。从而可以在足不出户的情况下了解城市固定资产的详细情况，对此完成精细化管理。 

全景实景城市固定资产综合管理系统解决了城市固定资产管理中帐、物不符，资产不明，闲置浪费和资产流失等问题。为城市资产管理工作提供全方位、可靠的决策依据，实现资产管理工作的信息化、规范化与标准化，提升了城市资产管理工作的工作效率与管理水平。

全景实景城市规划平台

将三维全景实景地理信息空间数据支撑平台引入城市规划可以让规划部门全面了解待规划地区的整体情况，充分估计规划后的影响。例如，在规划一块新的用地时，首先可以在实景中充分了解周围详细情况，然后可以将待规划的建筑模型放入实景中、进一步观察该建筑是否能够融入整体环境。三维全景实景地理信息空间数据支撑平台的引入让城市规划更加直观更加科学。

全景实景物联网综合管理平台

全景实景物联网综合管理平台的底层是接入物联网的各种终端设备和传感器，这些传感器通过基于IP的城域网、无线局域网、GPRS或者3G网络与全景实景物联网综合管理平台进行信息交互并接受管理平台的全面控制。全景实景物联网综合管理平台的界面如图所示：

三维实景城市亮点景观展示应用

传统的城市展示方法是用语言文字描述，并配以图片等其他材料进行展示。这种展示方式具有局限性：其一，文字和图片并不能完整的表现整个城市，其二，文字和图片并不能给人们以直观的感受。

可以将三维实景数据中亮点景观实景数据对公众开放，为用户提供全景实景漫游的功能。采用具有国际领先水平的全景实景混杂现实技术，大尺度、大场景、全视角地再现城市建设、人文景观、旅游景点。起到宣传城市作用，并为旅游产业和招商引资提供帮助。