基于双目立体视觉的智慧景区客流控制联动系统研究 　　

收藏 打印 发给朋友 发布者：谢晓鹏1 赵岗1 许礼林 2,3 周维才

热度0票  浏览56次 时间：2022年8月01日 09:27

　　谢晓鹏1 赵岗1 许礼林 2,3 周维才2 冯雪梅1（1.402360　大足石刻研究院　重庆）

　　（2.100048　国信司南（北京）地理信息技术有限公司　北京）（3.100830　国家基础地理信息中心　北京）

　　【摘　要】为了更好的做好景区客流量的控制联动工作，本研究提出了一种基于双目立体摄像的游客统计设备，通过对设备获取的视频数据采用背景差分和帧间差分的方法实现了背景剔除和游客提取；同时以此为基础，研建智慧景区客流量控制联动系统。实验表明，该设备能够适应复杂环境，数据精度较高，满足管理所需的综合精度；控制联动系统实现了客流数据的统计、分析、联动预警等功能，提高了景区管理水平，为景区相关政策的制定提供了数据依据和系统支撑。

　　【关键词】立体摄像；背景差分；帧间差分；控制联动1?引言

　　随着旅游业的不断发展，大量游客涌入世界遗产的“过度旅游”已成为当前全球旅游发展中最为值得关切的问题。

　　旅游景区客流是信息化建设的基础，也是景区智慧化发展的一个重要信息资源，景区客流的精准化统计和控制联动系统的智慧化服务可以为管理部门的景区客流控制、指挥车辆调度、科学线路规划等提供数据支撑和决策依据。而景区内部尤其是重点部位的客流统计大多采用的是基于头部特征的人头检测。顾聘等人 [1] 提出了一种基于双目立体视觉的快速人头检测方法，该方法利用双目立体视觉高精度、对光照的不敏感的特点，该方法在景区复杂场景中的适应性有待进一步验证。顾德军等人 [2] 对固定镜头下视频序列中人群根据人头的轮廓特性和颜色特性，利用基于目标运动连续性的匹配算法对人头部进行匹配跟踪，从而实现人数的计数。实验表明，该方法具有很好的实时性和较高的计数准确性。但该方法仅限于稀疏人群和对遮挡不是十分严重的人群。文嘉俊等人 [3] 提出了基于AdaBoost和帧间特征的人数统计，该方法解决了多人过线或搬货物过线时传统方法难以准确完成的行人分割和计数，该方法在垂直拍摄图像下正确率高达95%以上，具有一定的局限性。张海洋等人 [4-7] 提出一种基于曲率尺度空间的人头部检测算法。算法通过比较分析得出了人头部轮廓区别于其他部分轮廓的形状特征，在多曲率尺度下，计算物体轮廓曲线上每一个点的曲率，结合形状特征信息进行人头部检测。该算法对图像分辨率要求较高，且遮挡较多的情况下稳健性较差。张雅俊等人 [8] 提出基于卷积神经网络的人流量统计，但对分类器的训练比较耗时，当特征量比较多时会增加空间复杂度，难以满足实时监控的需求。

　　Subburaman V.B等人 [9] 提出了一个使用人体头部对人群进行计数的算法；杨召君 [10] 提出了利用彩色信息提取人体头部特征的算法，该算法在光照充足的情况下可以很好地识别人体头部，而当光线变暗或无光照时，无法正确获取人体头部信息，导致人体头部的误检；Garcia J等人 [11] 提出了一种基于扩展缩放算法的人员运动跟踪算法，该算法使用双目相机获取彩色信息，之后计算深度信息，但得到的深度信息不完整，在产生的深度图像中包含大量的噪声和空洞。针对以上问题，本文采用基于OpenCV的双目立体视觉进行客流监测，该摄像设备受光线变化的影响小通过对景区实际环境的测试，证明该方法具有良好的鲁棒性与较高的识别准确率，满足实时性要求，具有一定的应用价值，同时建立一套智慧景区客流控制联动系统。

　　2?双目立体视觉

　　2.1 双目立体摄像设备

　　本研究过程采用的双目立体摄像设备A（如图1所示）包括两个单色传感器L、R，它们可以产生立体图像并模拟双目视觉，具有较高的时间分辨率，并且两个单色传感器L、R安装在一个固定的平面上，有效的降低了视频校准的复杂性。

　　同时，为了避免传感器L、R在实时数据处理期间存在延迟的问题，设备中还增加了对传感器的共同控制和管理的晶体振荡器，从而确保来自传感器的数据的接收获取是连续、并行进行。

　　图 1双目立体摄像设备

　　2.2 客流目标监测

　　2.2.1 目标跟踪监测过程

　　本研究中目标跟踪监测流程（如图2所示），步骤包括：设备时间同步设置、传感器数据获取、图像校正、立体匹配、建立背景模型（优化）、目标监测等。

　　1）同步时间分辨率

　　在设备A中，传感器的时间分辨率被同步之后（在逐帧的基础上），系统从两个单色图像传感器L、R中开始获取数据，因为从传感器中获取的图像，数据和帧在时间上是同步的，所以每个时间定界的帧集合可以包括变化数量的图像，即来自传感器的数据获取是连续并行地进行。

　　2）图像校正

　　利用单色图像传感器L、R定标后获得的单目内参数据（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，解决传感器L获取图像对应于传感器R获取图像的对应问题。

　　图 2双目校正原理

　　3）立体匹配

　　在对图像进行校正之后，计算视差图，使用OpenCV中的SGBM算法计算视差图。根据平行双目视觉的几何关系，可以得到下面的视差与深度的转换公式（1）：

　　depth = ( f * baseline) / disp （1）

　　上式中，depth表示深度图；f表示归一化的焦距，baseline是两个相机光心之间的距离，称作基线距离；disp是视差值。等式后面的均已知，深度值即可算出。

　　4）建立背景模型、目标监测

　　在整个图像场景中，图像中的背景信息被可看作冗余信息，本研究中采用了融合背景差分和帧间差分的方法实现背景剔除和目标提取。

　　2.3 客流统计

　　本研究中利用双目摄像设备在大足石刻宝顶山景区实际环境中进行了实验，根据实际样本对设备正向（进）、负向（出）统计精度进行了比较。实验情况和结果如表1所示，其中：正向（进）平均精度为95.05%、负向（出）平均精度为96.36%，综合平均精度为94.86%。

　　表1 双目摄像设备客流统计表

　　正向（进） 负向（出） 合计

　　产品获取数据（人） 509 66 443

　　左侧人员统计数据（人） 537 69 468

　　右侧人员统计数据（人） 534 68 466

　　左侧精度 94.79% 95.65% 94.66%

　　右侧精度 95.32% 97.06% 95.06%

　　平均精度 95.05% 96.36% 94.86%

　　3?控制联动系统设计

　　3.1 系统架构

　　以双目立体摄像设备获取的景区客流数据为基础，以景区（景点）游客最大承载量为指导，从客流数据的智能化接入、综合性分析、多元化表达等视角，采用VUE框架，基于Token安全验证，通过Hprose高性能远程动态通讯中间件对外提供服务，建设客流量控制联动系统，实现景区客流的监测、预警、统计分析、疏导分流，联动预警以及应急预案的管理。(见国3)

　　3.2 景区最大承载量核定

　　本文以大足石刻宝顶山景区为研究对象，参照国家旅游局发布的《景区最大承载量核定导则》中文化古迹类的游客承载量、瞬时承载量、日承载量等。其中：瞬时承载量一般指瞬时空间承载量，瞬时空间承载量C1由以下公式（2）确定：

　　i i

　　Y X C /

　　1 ∑

　　=

　　（2）

　　式中：

　　Xi——第i景点的有效可游览面积；

　　Yi——第i景点的旅游者单位游览面积，即基本空间承载标准。

　　同时，综合考虑宝顶山景区的空间容量、设施容量、生态容量、社会心理容量等影响景区容量的因素，核定宝顶山景区的游客最大承载量和瞬时承载量。其中：大佛湾日最大承载量以1.5万人次，瞬时承载量为1500人次。

　　3.3 系统功能

　　本研究建设的宝顶山景区客流量控制联动系统，主要功能包括用户管理、预警配置、预案管理、客流统计分析、应急资源管理等。

　　图 4系统界面

　　4?结束语

　　本研究采用双目摄像设备融合背景差分和帧间差分的方法，实现了景区客流量的实时统计，并以此为基础利用可视化、地理信息等技术，建立了景区客流量控制联动系统，初步实现了景区客流的监测、预警、统计分析、疏导分流，联动预警以及应急预案的管理等需求，为景区客流的控制、联动、预警以及相关政策的制定提供了数据依据和系统支撑。

　　参考文献：

　　[1] 顾骋,钱惟贤,陈钱,顾国华,任建乐.基于双目立体视觉的快速人头检测方法[J].中国激光,2014,41(01):156-161[2] 顾德军,伍铁军.一种基于人头特征的人数统计方法研究[J].机械制造与自动化,2010,39(04):134-138[3] 文嘉俊,徐勇,战荫伟.基于AdaBoost和帧间特征的人数统计[J].中国图象图形学报,2011,16(09):1729-1735[4] 张海洋,陈国龙,李现伟.基于曲率尺度空间的人头检测方法研究[J].计算机工程与应用,2012,48(14):195-197+234[5] 基于头颈部凹点的人头定位新方法[J]. 邵明明.光电子技术. 2005(02)

　　[6] A robust human head detection method for humantracking. Hosub Yoon,Dohyung Kim,Suyoung Chi,Youngjo Cho.

　　Proceedings of 2006 IEEE/RSJ international conference onintelligent robots and systems. 2006

　　[7] Hair-color modeling and head detection. ZHAO M,SUN DH,HE H P. Proceedings of the 7th World Congress on IntelligentControl and Automation,WCICA‘08 . 2008

　　[8] 张雅俊,高陈强,李佩,刘江,程华.基于卷积神经网络的人流量统计[J].重庆邮电大学学报(自然科学版),2017,29(02):265-271

　　[9] Subburaman, V.B.; Descamps, A.; Carincotte, C.

　　Counting People in the Crowd Using a Generic Head Detector. InProceedings of IEEE Ninth International Conference on AdvancedVideo and Signal-Based Surveillance (AVSS), Beijing, China, 18–21September 2012; pp. 470–475

　　[10] 杨召君.基于视频人数统计与跟踪改进算法的研究与实现[D].南京邮电大学,2013

　　[11] Tracking people motion based on extended condensationalgorithm. Garcia J,Gardel A,Bravo I,et al. IEEE Transactions onSystems Man and Cybernetics: Systems . 2013