浅析博物馆三维全景数字智能视频融合系统
文/中国国家博物馆 安全保卫部 高级工程师 杨延京
近年来，随着博物馆的快速建设，大量新理念、新技术、新设备的使用，推动博物馆运营进入到高技术、高标准和高安全性的全新时代。随之而来的安全风险和隐患也逐渐增多，其中博物馆的监控视频存储信息容量大、监控点位数量多，如何有效地管理这些资源，实现视频资源的高效应用是博物馆安全管理与应急指挥建设领域亟待解决的问题。
目前许多博物馆依赖于视频监控系统来实现日常安全运行管理，分镜头模式已成为日常管理水平进一步提升的瓶颈之一。采用三维全景数字智能视频融合系统可以有效地关联融合海量监控视频资源，提供超越传统分镜头监控的全景立体可视化监控的同时，支持快速精准地捕获现场细节，有效地解决一些在单镜头视频分析中所不能解决或不易解决的问题，如跨镜头的盯控、人员徘徊检测、人群汇聚、交通拥堵检测、事故隐患等。实现视频监控从“看得清”到“看的懂”的跨越式提升，有助于切实提高博物馆安全运行管理的效率和快速应对突发事件的综合管控能力。
三维全景数字智能视频融合系统功能特点：
（1）基于博物馆实现大规模广域视频三维场景重构，还原真实场景，解决视频割裂、浏览不直观等问题。
（2）基于三维地理信息的室内室外视频实景拼接，提高了博物馆环境态势无缝掌控、分层浏览和信息综合运用水平。
（3）基于全景画面的高速球机关联细节追视，实现博物馆室内外全景和细节协同把控。
（4）基于博物馆真实三维场景的视频回放拼接还原，实现博物馆三维场景拼接时空回放，提升事件回溯研判能力。
（5）基于三维空间信息的机器视觉分析，实现摄像机三维场景中拌线、禁区闯入等行为数据提取和分析，提升博物馆采集的智能监控价值和告警处置判断力。
（6）基于三维空间信息的全景机器视觉分析，实现跨越摄像机全景人流密度视觉大数据提取和分析，提升博物馆采集的数据价值和决策判断力。
系统拓扑图
三维全景数字智能视频融合系统实现监控视频与三维模型的融合展示，将视频监控与其周边环境进行实时融合展示，解决传统监控方式分镜头画面之间相互孤立的缺陷，实现了分镜头与分镜头之间，分镜头与模块之间的空间位置对应。系统通过对物理世界中安装的监控摄像视频进行自动的多尺度分析，选择出几何突出点，进而通过采用有约束条件下二/三维共形几何映射的算法分析，把这些几何突出点映射到三维模型中对应的几何点。利用先进的算法对所有固定分镜头视频进行分析，检测分离出前景目标，根据自动相机标定技术精确计算出其空间位置，按照其对应的时间序列信息，经三维重建后融合显示至三维全真场景中，实现融合后的系统图像无形变、不失真。此外，将视频场景内球机关联于全景立体监控中，无需以球机为操作对象，系统自动地调度事件目标周边的多个球机协同追视，实现纵览全局和细节把控的有机结合。
三维全景数字智能视频融合系统核心技术包含以下几部分：
1.前景目标检测
在运动目标检测提取中，背景对于前景目标的识别、重建融合和跟踪至关重要。这里前景是指在假设背景为静止的情况下，任何有意义的运动目标。在全景立体视频监控系统中，将运动目标准确重建融合到三维场景中，实现全方位、无失真、无变形的监控尤为重要。为此，将首先进行对前景运动目标的检测，主要包括多层次前景背景建模和运动阴影抑制、噪音消除、目标缺失补偿两部分。
（1）多层次前景背景建模：
背景建模是前景目标提取的一个重要环节。建模的基本思路是从当前视频帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，但是由于光照突变以及其他外界环境的影响，一般建模后的背景并非十分干净清晰。而且，在公共场所上的行人和车辆众多，行进速度随时变化，很有可能出现完全静止，如果将它们更新为背景，会造成对重要目标的遗漏。基于此提出建立一个多层次混合高斯模型，用于实时的、鲁棒的检测各种速度（包括从运动到静止）的目标。利用多层次混合高斯模型来抽取背景的方法，不仅可以鲁棒的克服光线、树枝摇动等造成的影响，而且可以克服运动物体长期静止时的失效状况。
该方法在有复杂视频中构建的背景具有很好的自适应性，能迅速响应实际场景的变化，为智能监控打下良好的基础。
（2）运动阴影抑制、噪音消除、目标缺失补偿：
