你的位置：论文发表网 >> 论文库 >> 工学论文 >> 详细内容在线投稿

面向通信运营商的大数据建设方案分析

热度0票浏览241次时间：2018年8月02日 10:17

　　摘要：在当前移动互联时代，云计算、物联网等新的信息技术的发展，使得网络中的数据信息呈现出几何递增的趋势，大数据逐渐成为了通信运营商关注的焦点。文章结合大数据的相关概念，对大数据平台建设的有效方案和措施进行了分析，希望能够为运营商大数据平台的设计规划提供一些借鉴。

　　关键词：通信运营商；大数据建设方案

　　中图分类号：F272.92；F626 文献标识码：A 文章编号：1673-1131（2015）10-0239-010 引言信息化技术的飞速发展，使得云计算、智能终端、物联网等新的技术和应用不断涌现，在为通信运营商带来流量收益的同时，也推动了互联网企业端云整合的步伐，使得其面临着机遇与挑战并存的局面。在这种情况下，做好大数据平台建设，对大数据进行深入挖掘和分析，就显得尤其重要。

　　1 大数据的相关概念

　　大数据（Big Data），是指由许多不同的数据集汇合而成的数据集合，规模极其庞大复杂，采用当前常规的数据处理工具和数据管理技术无法进行有效处理[1]。当前，业界广泛认同的大数据的特征，主要体现在四个方面，即容量（Volume）、类型（Variety）、价值（Velocity）以及速度（Value）。

　　（1）数据量巨大，数据成倍增长。最近几年，全球数据量呈现出前所未有的增长趋势，计量单位由TB 级别跃升到 PB、EB 乃至 ZB 级别（1024 进制），其所带来的技术挑战，是巨量数据存储技术。

　　（2）数据类型多，包括了结构化数据、半结构化数据以及非结构化数据，而且数据也不再是单一的文本形式，而是包括了日志、图表、视频等，对于数据处理能力提出了更高的要求。

　　多样化的数据类型所带来的挑战，是非结构化数据处理技术。

　　（3）价值密度低，在庞杂的数据中，可能仅仅只有极少的数据才有相应的价值，如何对数据进行提纯和深入挖掘，找出有价值的信息，是一个亟待解决的问题。

　　（4）处理速度快，要求实现信息的实时获取，其所带来的挑战是实时数据处理技术[2]。

　　2 基于通信运营商的大数据建设方案

　　对于通信运营商而言，构建大数据平台，是非常必要的。中国电信作为国内最大的基础网络运营商，拥有庞大的传统固网用户和移动用户，目前采用的数据分析系统结构复杂，成本较高，为了能够支撑流量经营以及智能管道运营，电信公司需要了解移动互联网的业务特征，明确网络状态，对大量的业务数据和信令数据进行存储和分析，在这种情况下，如果沿用传统系统架构，其成本将是难以承受的。而建设大数据平台，引入新型数据存储与处理技术，不仅存储能力大大提升，也可以极大地降低系统建设成本。将基于 X86 云架构的成本与传统架构成本进行对比，计算能力单价约为原来的 1/4，存储能力单价约为原来的1/12。在大数据平台建设中，需要关注几个关键性问题。

　　2.1 关键技术

　　为了能够应对大数据对于数据处理的新要求，相关人员加大了对于数据处理技术的研究力度，取得了相当显著的成果。从目前来看，常用的大数据存储与管理技术包括两种，一是 MPP 架构的新型数据库集群，通过列存储、粗粒度索引等多种数据处理技术，结合 MPP 架构自身的分布式计算模式，实现对于分类应用的有效支撑，在低成本的 PC Sever 运行环境中，具有高性能和高扩展性的特点，能够支撑 PB 级别的结构化数据分析；二是基于 Hadoop 的技术扩展与封装，衍生出相关的大数据技术，能够对传统关系型数据库难以处理的数据和场景进行应对，比较擅长对非结构和半结构数据以及复杂数据挖掘的处理。

　　2.2 系统架构

　　（1）数据采集层：包括数据的采集和预处理功能，主机可以采用基于X86 架构的刀片机PC服务器，支持设备的动态扩容。

　　（2）数据存储层：MPP集群能够对数据进行实时分析和深度挖掘，存储量由实际业务需求决定，支持多维分析以及非固定模型的运算；Hadoop集群负责对海量非结构化数据的处理，能够形成数据仓库汇总层模型，以及基于大数据的深度行为分析，如社交网络分析、路径分析等。上述两个集群的规模可以根据数据量的大小，分别进行配置。

　　（3）能力服务层：主要负责对数据进行封装处理，以实现数据的统一开放，将应用与数据进行解耦，从而应对数据使用不灵活的问题。

　　（4）应用层：从移动运营商的特点出发，可以优先进行精细化设计、客户满意度维系以及精确营销和数据分析服务等。

　　（5）管理层：管理层可以对应用与服务的开发框架进行统一管理，也可以对应用开发过程中使用的通用技术进行管理，确保数据中心各类资源的集中管控和调度[3]。

　　2.3 组网方案

　　在大数据平台中，通过与核心网信令网元、核心网以及承载网 DPI 系统的相互连接，能够实时获取信令数据、移动通信网上网数据以及用户 CMNet 上网数据等；通过与业务网的VGOP 连接，可以获取业务数据；通过与 IT 支撑系统 CRM 以及网管系统的连接，能够获取用户和网络相关数据。

　　3 结语

　　综上所述，在大数据不断发展的背景下，通信运营商面临着机遇与挑战并存的局面，要想获得更好的发展，必须从自身实际出发，发挥数据资源的优势，对大数据的价值进行深入挖掘，建设大数据平台，为客户提供更加可靠的通信服务。

　　参考文献：

　　[1] 赵跃东,王隽峰,曾王平.电信运营商大数据应用系统建设方案研究[J].中国新通信,2015(4):81-82.

　　[2] 冯明丽, 陈志彬. 基于电信运营商的大数据解决方案分析[J].通信与信息技术,2013(5):35-40.

　　[3] 赵晶.针对运营商的大数据建设方案研究[J].电信工程技术与标准化,2015,28(3):17-21.