悄悄来临的大数据时代
如今,网购已在悄悄改变着人们许多年以来形成的购物方式。对于刚刚过去的11月11日,人们仍记忆犹新,知名电商阿里巴巴通过旗下的天猫和淘宝,将“光棍节”变成“购物狂欢节”。
阿里巴巴是做什么的?很多人会说“电子商务”。但如果看电商交易的实质,实际上是“海量的信息和数据服务”——一句话,阿里巴巴的所作所为符合“大数据时代”的潮流特征。
继“物联网”、“云计算”之后,进入2012年,“大数据”一词被越来越多地提及。人们用它来描述、定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
“大数据并非突然产生的,实际上,IBM、谷歌和亚马逊等大企业早已开始利用它。这个概念之所以能够为更多行业所认知,还是因为人们越发看重它的应用。”中国工程院院士、工信部通信科技委主任邬贺铨表示。
“大数据时代”已经来临
最早提出“大数据”时代到来的是管理咨询公司麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
什么是大数据?邬贺铨引用了维基百科的定义:没有办法在允许的时间里用常规的软件工具对内容进行抓取、管理和处理的数据集合。“当然,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十个TB(万亿字节)和几个PB(千万亿字节)之间。”
大数据到底有多大?以下这组“互联网上一天”的数据告诉我们:一天之中,百度大约要处理60亿次搜索请求,达到几十PB数据;淘宝网站的交易达数千万笔,单日数据量超过20TB;联通的用户上网记录一天达到10TB……
“如果说第三次工业革命有各种各样的标记,那么信息技术发展到今天,大数据也是其中的一个标记。”邬贺铨评价道。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但各行各业的有识之士认为,它对社会经济生活产生的影响绝不仅限于技术层面。
挖掘“数据财富”
当你仍把微博等社交平台当作抒情或者大发议论的工具时,一些商界精英却正在挖掘“数据财富”,先人一步用其判断市场走势,从中获得了不菲的收益。
通过分析网民的情感数据,社交媒体监测平台DataSift发现,社交网站脸谱(Facebook)申请上市发行股票的当天,微博推特(Twitter)上的情感倾向与Facebook股价波动基本上呈正相关:在Facebook开盘前,如果Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌;而当Twitter上的情感转向正面时,Facebook股价在8分钟后也随之回弹……当然,仅凭这些并不能证明Twitter的情感倾向会对股价产生影响,不过确实已经有人试图据此发现预测股价走势的方法。
大数据的影响并不仅限于信息通信产业,它还在“吞噬”、重构一些传统行业——从这个意义上讲,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
邬贺铨举了个有趣的例子。美国target超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来,该超市通过调查罗列出几十种购物偏好,当某位顾客的收银条上集中呈现这类商品时,就会被认定为可能是孕妇或家中有孕妇,并随后向其发送孕妇产品广告。一次,当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后,却发现原来是自己还在上高中的女儿怀孕了。“这个例子告诉我们,利用购物信息这个大数据,商家可以进一步分析、细分购物群体,从而提升销售额。”
此外,利用搜索关键词,疾控部门可以预测、判断某地流感暴发情况;通过关注社交网络上“糖友”的交流与感悟,医院和医生可以获得更好的糖尿病诊疗和康复经验……据邬贺铨介绍,不仅在商业方面,大数据在电网运营、交通管控、医疗服务等社会领域同样存在着巨大的利用空间。
拿什么迎接“大数据时代”
如何利用这些大数据,从而开发出其中的商业价值,已经成为投资者、IT界人士以及政府公共管理部门普遍关心的问题。
2012年3月29日,美国政府宣布投资两亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。
最积极的当属众多IT企业。IBM提出,继上一个十年抛弃私人电脑业务成功转向软件和服务后,这次将更多地专注于大数据分析软件带来的全新业务增长点。此外,有关“大数据”主题的并购案层出不穷,并购数量和规模都呈逐步上升态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元。
当众多国外企业竞相追逐大数据带来的产业价值时,还鲜有一家中国公司能够跻身大数据开发的领先行列。
邬贺铨表示,虽然现在国家从科技项目上开始重视大数据,安排了一些研究,但感觉整体差距还很大。“这并非一些简单的科技项目就能解决的,应该鼓励拥有资源和能力的企业、部门去开发大数据,因为他们才是真正的应用需求者,才是牵引技术的最重要力量。”
为了缩小在这场时代竞争中的“起跑”差距,政府的主导作用显得尤为重要。
“除特殊情况外(例如涉及国家机密和安全),政府部门应该尽可能及时地发布、公开信息,鼓励数据共享,帮助需求主体了解各行各业的整体情况。”邬贺铨认为,我国目前的状况不是数据收集太少,而是共享太少。“拥有数据的部门没有能力去分析,有分析能力的部门没有数据,各部门之间缺少协调合作,这实际上涉及一个体制问题。”
此外,拥有数据的企业或部门不知如何在保护好用户隐私与安全的情况下使用大数据,也是妨碍我国紧跟“大数据时代”的一大羁绊。
既然收集、整理、存储大数据的门槛这么高,为什么不利用国外的平台去做点什么?对此,邬贺铨特别提示,国内企业和相关部门要避免将自己的重要数据放到国外的分析应用平台。“这些看似无关的数据,其实都跟企业发展策略、国家经济运行状况相关,我们不能因为国外的东西免费好用而失去了对信息安全的警觉。”