基于 5G-MEC 的大数据无线视频监控系统
联通(上海)产业互联网有限公司 上海市 200050
摘 要:本研究主要基于无线5G-MEC的基本架构之上,运用边缘计算、大数据技术进行实时的视频监控,分析周边环境、人员识别、设备情况监控分析。随着5G时代的到来,5G-MEC技术在无线视频监控技术方面的领域,逐渐得到突破,主要应用于已成熟且不能进行大规模布线改造的环境下的巡检、监控,为了提高重大设备管理的效率以及周边环境、人员的安全。本研究利用5G-MEC技术、大数据技术使得无线视频监控技术更加轻便化,合理化,严谨化,视频监控的安全性、智能性与简便性得到进一步的保障。该系统主要采用5G-MEC技术对数据在边缘侧进行预处理,然后通过5G网络通道传输数据,再通过UPF进行数据分流,不但节约了数据流量,而且特殊数据在专网内更加安全可靠。5G-MEC大数据视频监控系统中图像采集,利用模糊算法进行图像的预处理,将关键数据回传,根据大数据中的深度学习算法进行图像的检测,实现监控数据分析、数据分析结果参考,同时基于5G技术的传输基础上进行无线通信使得边缘端的设备易于部署。
关键词:5G;MEC;视频监控技术;大数据分析;网络施工轻便化1. 引言
早在 2018 年中国视频摄像机的数量得益于《雪亮工程》已经超越各个国家跃居世界第一,也因此打开了视频监控系统及其技术应用的大门。视频监控技术也越来越多地被运用到各个行业与领域,从交通物流、巡检安防、闸道门禁到门店监控、在线教育、无人驾驶等都与之越来越密切,而这些领域行业都对视频监控技术有着不同的行业特点与特殊需求。目前国家对于视频硬件以及软件技术的应用开发方面已经有了一定的要求,不单是信息化、数字化并且要求做到智能化。边缘摄像机、5G 摄像机这类市场创新产品越来越受欢迎,图像识别、决策辅助、智能测算,大数据等智能应用也越来越多。
2. 研究5GMEC大数据无线视频监控系统的意义
经过多年的信息化建设,各单位通过以专业、职能为中心的建设模式,形成了各种各类的信息系统,各信息系统间联系紧密,形成了 “一荣俱荣,一损俱损” 的网络格局。这些物联网由监控设备、识别设备、传输设备、存储设备、传感设备组成,包括视频监控的前端、后端、服务器等设备,还包括了大量的网络设备、机房设备、大数据虚拟化服务器、云存储服务器等。随着联网结构越来越复杂、产品升级换代节奏加快、系统建设升级改造活动越来越频繁,系统中不稳定因素逐渐增多,出现故障的概率不断增大。然而设备间的紧密联系,联网点位的数量、质量不尽人意,联网平台离线、视频链路播放体验糟糕(加载时间长、视频卡顿、花屏)严重影响用户使用,而单一信息系统运维模块发挥的作用越来越小。运维人员在应对复杂架构和网络下的设备、平台服务的故障时,也显得越来越无力,对于更加合理的网络结构优化、网络优化以及网络安全的呼声越来越高。
随着我国 5G 时代的到来,MEC、大数据技术被应用于很多领域,视频监控系统也不例外。边缘计算摄像机则可以承担一定的算力,对没有能力加装 MEC 的客户也可以做一些简单的边缘应用和计算。大数据系统让我们对提取的数据图像进行分析和处理,通过不断地学习,让系统自动得出我们想要的信息,并且根据信息给与我们建设性的建议和辅助信息。通过边缘计算摄像机、MEC建立可靠的 5G 网络,直接对接无线服务器避免了中间的各个网络节点、系统模块,使得网络结构更加科学和简单。MEC 可以发挥其强大的专网功能,对于数据流的传输、加载、分流、计算都可以很好地控制。MEC 还可以加载多种应用,车辆识别、人脸识别、AI 判断分析、入侵抓拍、实时监控等功能。
3. 主要采用的技术
3.1 图像处理
目前,项目中大多数做视频分析、视频应用的企业都是通过后台对比前端摄像机采集的图像进行分析处理,但因传输带宽及存储空间的瓶颈,前端传回后台的图像一般都经过压缩处理,清晰度变差,这大大降低了视频分析、视频应用的识别率。
图像处理目前已经是绝大多数视频系统所需求的一个功能,并且一直在“边端化”也就是我们所说的边缘计算。自从摄像头由模拟信号转数字信号之后,DIP(Digital Image Processing)成为每个算法工程师的入门必学课程,DIP 的图像预处理(Pre-processing)也成为图像处理的第一步也是分化(特征提取)的第一个节点,根据需求的不一样对图像的预处理也是不一样的,我们需要根据需求来提取特征点。
【1】 例如刑侦我们要求是对图像进行
增强、修复得出关键部分的像素;例如车牌人脸识别、车牌识别则是对关键信息进行提取、储存和比对。深度学习技术的诞生在图像领域是革命性的,但是深度学习是需要依赖强大的算力和数据库里的数据集,但是传统的图像处理算法却不受这些因素的影响,因此很多深度学习的部分程序也是由基础的图像处理算法完成的。特征提取与特征的选择有很多方法,以最多的人脸检测为例做一个简单的讲解:
HAAR 特征匹配+Adaboost 算法
HAAR 是一种特征提取因子,HAAR 一共有 4 种基本能结构,可以用于提取边缘特征、线性特征、中心特征和对角线特征:通过改变特征模板的大小和旋转,可以得出更多的特征提取因子,这里就不列举了,我们可以通过这些特征提取因子,对整个图片进行穷举,这样就会使得一个很小的检测窗口含有非常多的特征点,那么如何快速计算以及分辨出哪些特征点才是最有效的就可以通过 Adaboost 算法来训练。
【2】
Adaboost 算法
二分类筛选
AdaBoost 的源可以说是机器学习的一个模型,全称呼叫 PAC(Probably Approximately Correct)。Adaboost 算法就是把几个弱的分类器组合成一个强力的分类器,弱分类器一般使用单层树决策模型,这样的 Adaboost 算法可以逐渐训练成为一个自适应的BOOSTING 方法来实现高效的二分类判断。
3.2 5G-MEC
移动边缘计算(Mobile Edge Computing,MEC),是第五代移动通信(5G)的关键技术,可利用无线接入网络就近提供电信用户 IT 所需服务和云端计算功能,而创造出一个具备高性能、低延迟与高带宽的电信级服务环境,加速网络中各项内容、服务及应用的快速下载,提供不间断的高质量网络体验。
5G-MEC 可以给应用开发商、企业管理者提供云计算能力和IT 服务环境,具备如下优势:
1.广连接 MMTC(Massive Machine-Type Communication)提供超大连接数量,支撑大量 5G 设备终端的接入。
2.低时延、高安全 uRLLC(Ultra-relaible and Low LatencyCommunication)提供了极可靠的低延时通道,可以让各个领域在使用 5G 信号时得到超低延时,无人技术中是应用最广泛的。
3.高带宽、高安全 uRLLC(Ultra-relaible and Low LatencyCommunication)提供了极可靠的低延时通道,可以让各个领域在使用 5G 信号时得到超低延时,无人技术中是应用最广泛的。
4.实时访问无线网络信息
【3】
5G 移动边缘计算创建了一个全新的生态系统和价值链,包括应用开发商、内容提供商、IT 企业、网络设备商、运营商等。还可以向授权的第三方开放无线接入网,允许第三方面向移动用户、企业或垂直细分市场灵活、快速的部署创新的应用和服务。
MEC 网络图
先进的设计思想
不依赖于特定平台,实现软硬件完全解耦,软件开发严格按照软件工程和客户需求进行定制化设计要求。系统采用 SDN 网络架构,引入自顶向下、层次化、模块化的设计思想,不同网元可以依据现场环境运行在相同或者不同的虚拟机上,有效提升软件稳定性、易维护、易扩展。
简单快速的部署
5G-MEC 无需对现有网进行任何改造,移动边缘计算可一键部署,快速部署商用。
5G-MEC 对终端、基站、运营商的核心网等均没有额外、特殊的要求,兼容性强大。
5G-MEC 对于 3GPP 的网络架构和已有的接口是透明的,原有无线通信系统接口无需做任何改动,利于快速部署设备。用户体验增强
5G-MEC 的引入能明显的增强业务的用户体验,例如:在 4G的环境下,使用 MEC 用户终端到服务的时延只有 11ms 左右,高清摄像机以及 AR/VR 等视频业务的体验尤其明显。
高安全性、高可靠性
5G的建设还在继续,在5G网络全面实现NSA转SA网络之后,5G 将更新 R17 版本,R17 版本将会引入切片的概念。5G 切片将彻底改变现有的网络使用结构,可以做到“按需分配”的同时对网络安全的问题上做到:切片隔离、切片接入认证、切片安全加密多样化、切片的接口通讯安全、第三方用户的交互安全、VNF 安全、NFVI 安全、MANO 安全。因此将这些都纳入到未来的规划就可以做到对 5G 网络切片安全技术在此升级。
【4】 我国的大部分的国有企
业对网络安全的标准很高,内外网都物理隔离或使用网闸、网关多层核心交换机隔离的,甚至一些企业不允许生产数据通过运营商的核心网络,因此在做一些移动应用时会遇到很大的阻力。但是在5G-MEC 的环境中可以做到数据不外流,并且拥有超低的连接延迟、大的连接带宽以及巨大的连接数量后,很多场景都可以快速应用,例如高清的视频监控系统、蜂窝插槽作业,航天复合材料高清视频检测。同时考虑到现有网络的存在,5G-MEC 在引入时不会影响现有网络的使用,如果 MEC 出现故障为了保障一些特殊行业的MEC 部署在 5G 网络时1.MEC 使用远端 UPF,支持将 UPF 流量引导到本地加速器MEC 平台服务。
2.MEC 提供本地 UPF,完成本地 DP 数据规则的配置,实现本地分流功能。
*UPF 为数据分流服务器,篇幅原因不展开*NF 为网页功能,篇幅原因不展开
3.3 大数据分析
视频系统中使用 AI+大数据分析是目前广泛使用的一项技术。大数据是一个比较抽象的概念,当前较为统一的对大数据的有四个基本特征:数据规模大、数据种类多、数据要求处理的速度快、数据价值。如何获取数据价值成为了大数据的核心问题,数据挖掘算法与数据仓库应运而生。通过各种算法我们可以对数据进行数据预处理、数据清理、数据集成、数据变换、数据消减,其中每一步使用的算法都不尽相同,我们常常使用的有比较基础的算法如:关联算法、决策树分类、神经网络算法、遗传算法、模糊算法等等。但是更多的是将多种算法组合改进形成新的算法来适应和满足不同的需求。但在激烈的竞争中,光有算法还是不够的,随着分布式结构的成熟,数据库技术的提高和数据挖掘算法的发展,数据仓库也变得尤为重要。数据仓库就是面向主题的(subjectoriented)、集成的(integrated)、非易失的(nonvolatile)、随时间不断变化的(time variant)的数据集合,建立数据仓库也是为了更好的支持数据挖掘和分析。其中数据仓库又可以根据他的结构和功能分为:缓存层、数据基础层、面向业务的数据层。【W.H.INMONBUILDING THE DATA WAREHOUSE】从数据层接口出来的数据是经过不同的算法经过数据预处理、数据清理、数据集成、数据变换、数据消减提炼出来的,符合不同业务部门的应用需求。
【5】
4. 基于5G-MEC视频监控系统的整体设计
5G-MEC 网络图
由于 5G 的技术原理的原因(这里不展开)会存在 5G 宏站信号不能穿透到建筑内,大概率会存在信号强度不够的情况,这个时候我们需要在测量信号强度之后,在信号强度不够的区域进行室内 5G 信号覆盖。室内外的视频摄像机会根据不同的场景和需求定制采购,从而达到原有的效果。
5G-MEC 系统架构图
在感知层与网络层打通之后,对于多个 5G-MEC 无线视频会通过平台来进行管理和运营,对于平台来说架构(不展开)就显得十分重要,通过此图可以看出我们对于云的接口以及对各种应用的接口都是有预留的。
5. 总结
本研究是根据最新的技术5G-MEC 在视频监控系统中的应用情况,通过 5G 的三大技术特点对网络的提升从而提升 5G 无线视频监控设备的安全性、可靠性与施工的轻便化。对于已实施的生产厂房,施工布线是可能影响生产运营的,对于不能停工和停工会造成生产损失的场景可以直接使用无线视频监控设备。然而有些企业的生产要求是生产数据不能出内网,因此我们通过 UPF 来进行数据分流,对数据进行下沉从而达到数据不出内网的需求。其次对于现在的 AI 智能识别系统,首先会考虑会分担小部分算力(预处理)在视频监控摄像头的边缘端,应用会部署在 MEC,对于需要大量储存能力和大量算力的数据挖掘、数据分析和决策辅助则会部署在私有机房之内。但是这套系统的缺点也是很突出的,就是非大型企业是承担不起如此高昂的建设实施费用的,而且由于芯片的短缺,MEC 服务器的成本不降反升。对于未来我相信还是会越来越普及的,生产力提升了,生产成本也会随之下降,届时可以为国家社会做出更多的贡献,在此也希望能够分享自己的经验给大家。
参考文献:
[1]Tony F. Chan / Jianhong Shen,《Image Processing andAnalysis》,2005
[2]Milan Sonka、艾海舟《图像处理、分析与机器视觉(第3版)》,2014
[3]张传福,赵燕,于新雁,林善亮《5G移动通信网络规划与设计》,2020
[4]袁琦中国信息通信研究院《移动通信》第10期,2019[5]李广明 徐俊 金华《大数据与数据挖掘》,2014作者简介:邓楚舒(1988年-),男,汉族,湖南衡阳人,硕士研究生,工程师,研究方向:物联网技术、通讯技术、计算机技术。