大数据时代下对数据的新认知
摘要:“这是最好的时代,这是最坏的时代,”随着信息时代的进步,
近年来信息数据资源已经成为最宝贵的财富。我们正处在一个信
息爆炸性增长的“大数据”时代的同时,数据的传播速度也远远
超出我们的控制范围。大数据在政治、经济、文化都产生着深远
影响,大数据时代也对我们提出了新的机遇和挑战。
【关键词】时代 大数据 影响 机遇 挑战
二十一世纪是信息的时代,是数据的时
代也是各种新兴技术快速发展的时代。我们有
幸生于这个伟大的时代,在享受着各种高新技
术的同时,你是否有注意到其背后成千上万的
数据带给我们的便利呢 ? 自人类诞生之初数据
就已经存在,而在几千年以后的今天数据已经
越来越广泛的在生活中被运用和提及。清晨你
被闹钟叫醒,每天闹钟都会根据你的睡眠质量
切换不同的铃声,吃早饭时电视里智能推送的
是你最喜爱的频道,上班的路上常常拥堵而你
也不用担心因为导航通过分析路况为你制定了
最佳路线,到达公司后电脑桌面上已经筛选好
了一天需要完成的工作,下班后你去了超市为
了了解货物的信息,你扫了二维码得知了食品
的安全检验记录和消费者对它的评价……有这
些听起来是不是很熟悉?因为这些场景都是我
们今天生活中正在发生的。你无法回避也不得
不接受的现实,我们每个人都已经不知不觉地
卷入了这个“大数据”时代。
1 什么是大数据下的数据认知
“大数据”就是一种流量、存储量超级
大(以 TB 计算)数据。谷歌地图街景(图片)
是大数据,每一个微博用户在微博上产生的全
部内容合起来作为一个整体是一种大数据,淘
宝店主和每一位淘宝用户在淘宝这个平台上产
生的所有信息作为一个整体是一种大数据,国
内最大的搜索引擎百度里面所有的无数条的类
目信息合起来也是一种大数据,这些都是互联
网企业普遍存在的大数据。根据来源的不同大
数据大致可分为如下几类:
1.1 来自于人
人们在互联网活动以及使用移动互联网
过程中所产生的各类数据,包括文字、图片、
视频等信息。
1.2 来自机
各类计算机信息系统产生的数据,以文
件、数据库、多媒体等形式存在,也包括审计、
日志等自动生成的信息。
1.2 来自于物
大数据时代下对数据的新认知
文/殷悦 郑钧文
“这是最好的时代,这是最
坏的时代,”随着信息时代的进步,
近年来信息数据资源已经成为最
宝贵的财富。我们正处在一个信
息爆炸性增长的“大数据”时代
的同时,数据的传播速度也远远
超出我们的控制范围。大数据在
政治、经济、文化都产生着深远
影响,大数据时代也对我们提出
了新的机遇和挑战。
摘
要
各类数字设备所采集的数据。如摄像头
产生的数字信号、医疗物联网中产生的人的各
项特征值、天文望远镜所产生的大量数据等。
但是相同之处在于大数据具有远远超过传统数
据库存储及处理的能力,此处之“大”并不是
空泛的单指数据容量之大,大数据下对于传输
速度,数据的复杂程度以及数据的多样性同样
要求很高。
2 新认知的特性
2.1 海量数据
在这个日新月异的时代,数据的更新正
以惊人的速度翻倍增长,大数据也因此应运而
生。大数据也拥有多种信息产生渠道,例如:
智慧化的三大体系结构——互联网、物联网、
云计算等。
2.2 数据的多样性
多样性作为大数据的结构特征,包括结
构化数据和非结构化数据。
2.3 数据的高速处理
大数据通过高处理技术分析处理庞大的
数据包,通过快速地检索、计算、交互来创建
实时数据。
2.4 数据价值的稀疏性
我们通过对已经获得数据的分析处理得
到隐藏的潜在信息,才能产生价值。而数据价
值的多元化使其内在价值通过多种多样的产品
以及服务得到具体化体现。
大数据最大的特征就是数据量大。因为
数据量大,所以才能商业特别是互联网企业带
来不可估量的现时或潜在的价值,如果百度里
面的数据量不够大,可供网民搜索的类目和条
目不够多,那它毫无可能成为网民的“移动的
百科全书”。
3 两种数据认知差别
现如今大数据理论还是个新兴概念,对于
它的讨论仍处于百家争鸣的阶段,各大学者对
于它也是各执一词。大数据究竟与传统数据有
哪些不同?首先大数据通常是由非人为的自发
生成的,不会受到人为的参与或者干扰,一架
波音 737 客机上搭载的传感器即使没有人为的
操作或者指令也能实时记录着飞行过程中的各
项数据。而传统数据或多或少都会有人参与到
新数据的生成流程中,其次大数据的数据量和
分析手段与传统数据也是大相径庭,举个例子
在传统数据处理中对一个学生 9 年义务教育中
可被提取分析再进行量化的数据不足 10kb,
而其中包含了学生的户口信息,9 年里的学习
成绩,历年的奖惩记录,医疗保险信息,身高
体重,兴趣爱好等等。
4 大数据对我们生活的影响
这是一个美好而又糟糕的信息化时代,
信息化让我们的生活更加简便,而庞大的信息
量有时又会让我们无从选择。携程旅游 APP
作为数据搜索一个较为成功的案例,其利用数
据分析,瞄准商机,通过精确的数据分析得出
每年散客订房的比例占总比例的 95% 左右,
从而发现电子商务的巨大提升空间,从最初的
机票代理业务发展到如今的酒店、票务、度假
预订。相对比而言 12306 就显现出其滞后性,
不仅搜索方面有待改进也不存在所谓的反馈机
制,整个平台软件的编写也较为落后,在购买
车票时我们可能要给出无数次大量点击。
5 人们应该如何面对大数据时代
大数据的前景无疑是光明的,各类依托大
数据而发展的行业也呈现出欣欣向荣的态势。
诚然大数据无时无刻不在改变着我们的生活,
但它仍然暴露出许多问题,在一方面大数据时
代中不可避免的会出现隐私泄露的问题,不只
限于个人的隐私泄漏,还在于基于大数据对人
们状态和行为的预测。目前用户数据的收集、
管理和使用缺乏适当的监管,数据的正确使用
主要依靠企业自律。在另一方面伪造和刻意制
造数据的现象依然存在,而错误的数据往往会
导致错误的预测。而且不可避免的是数据在传
播中的逐步失去准确性。大数据是一把双刃剑
它所带来新的契机的背后也暴露出许多安全问
题,令人可惜的针对用户隐私泄露法律至今仍
不健全。
未来十年,决定中国是不是有大智慧的
核心意义标准,就是国民幸福。一体现在民生
上,通过大数据让有意义的事变得澄明,看我
们在人与人关系上,做得是否比以前更有意义;
二体现在生态上,通过大数据让有意义的事变
得澄明,看我们在天与人关系上,做得是否比
以前更有意义。总之,让我们从前 10 年的意
义混沌时代,进入未来 10 年意义澄明时代。
参考文献
[1] 李国杰 , 程学旗 . 大数据研究 : 未来科技
及经济社会发展的重大战略领域 [J]. 中
国科学院院刊 ,2012,27(06):647-657.
[2] 刘洋 . 层次混合存储系统中缓存和预取技
术研究 [D]. 华中科技大学 ,2013.
[3] 李怀阳 . 进化存储系统数据组织模式研究
[D]. 华中科技大学 ,2006.
[4] 罗东健 . 大规模存储系统高可靠性关键技
术研究 [D]. 华中科技大学 ,2011.
作者简介
殷悦(1995-),女,江苏省扬州市人。在读
本科学生。研究方向为控制工程、SQL、电力
电子技术及电力系统。
郑钧文(1995-),男,江苏省苏州市人。在
读本科学生,研究方向为电气工程及其自动化。
作者单位
徐州工程学院信电学院电气工程及其自动化系
江苏省徐州市 221000