中国的大数据现状
中国大数据市场元年为2013年,因为在这一年,一些大数据产品已经推出,并且部分行业产生了大数据的应用案例。据估计,未来的四年将迎来大数据市场的飞速发展。
不得不说,数据已经和我们息息相关,不知不觉中已经渗透到每一个行业和业务职能领域。全球知名咨询公司麦肯锡在一项研究报告中指出,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据这一概念,不仅引起计算机行业的关注,也成为了其他行业内的一个重要概念。
☆信息现状
众所周知,数据是信息的载体。我们对于信息的理解不能仅仅局限于“数字”,而是存储在计算机里的一切信息,视频、音频。由于数据的不断增多,数据所承载的信息量也就越多,因此人类知识的边界会不断扩大,未来也许会发生“信息爆炸”,在海量的信息面前,人类必须学会利用数据,以及数据里的信息。
曾经有一个技术工作者和我说,他亲身经历了从小数据到大数据的时代转变。他的工作是数据库程序员。据他所说,当他在美国工作时,能感觉到数据背后有一股强大的力量。他还告诉我,我们进入大数据时代最好的证据就是数据库变成了数据仓库。然而当他回国之后才发现,原来我们的大数据处理的各个环节,和美国有相当大的差距。
大数据时代,是我们面临国际竞争时的又一次挑战。我国的传统文化与国外有相当大的差异。我们的传统是重观点、轻数据的。举个例子来说,我们国家的社会学科是偏重定性研究,而国外则相反,比较注重定量研究。因此,当我们面临着数据带给我们的机遇和挑战时,能不能从中找到创新的方式,正视传统的不足,这是至关重要的。
然而我们身处大数据时代并不是与绝对的安全画上等号。我们的网络安全需要政府部门制定专门的政策和法律来保障隐私。
隐私的边界在于你个人对自己的隐私必须要有控制权,也就是你可以任意地管理和删除自己的信息,并且不会被别人窃取自己的身份信息进而造成困扰。
我们国家在这一层面上,做的显然还不够。中国社会迈进大数据时代的制约和障碍,以及给予我们每个人在隐私层面的考虑,是每个人必须要思考的问题。
☆人的现状
与大数据时代相适应的,则是能够处理海量数据的IT技术人员。而随着大数据产业的迅猛发展,IT技术人员的需求也与日剧增。其中对IT技术人员的需求不仅仅是数量上的需求,更重要的则是质量上的需求。
在2012年的大数据世界论坛上,有嘉宾呼吁:“与大数据相关岗位的人才短缺。欧美也在中国市场寻找这方面的人才,但是他们不知道中国这方面更匮乏。将来一个国家的竞争力很大程度上决定于分析人员,将来的决策都是通过数据来说话,通过数据分析得到结果来做决策。所以,分析人员的水平对于国家的竞争力、对于一个企业的竞争力来说是非常重要的。”
根据我们的调查,目前国内数据分析人员整体逊于国外分析人员。国内数据分析人员的薪酬水平也远低于国外的数据分析人员。在这样的市场竞争环境下,是很难出现高水平的数据分析人员的。
刚从高校毕业的陈同学有机会进入英特尔公司从事平台软件的研发工作。如果不是在大数据的浪潮之下,也许陈同学将会继续沿着工具型软件的研发道路走下去。
但是现在,各个企业(包括英特尔在内)都对大数据产业非常重视,因此也对陈同学的职业发展道路产生了非常巨大的影响。陈同学决定将大数据平台作为自身未来发展的一个方向。他说:“无论是在科学理论研究,还是在产品开发层面,大数据的热门和快速的技术更迭都能满足我个人对新技术兴趣爱好的需求。此外从职业发展层面,大数据也能带来更多机会。我看过一个报道,显示大数据相关的职位在IT技术领域包揽了高薪排行榜的前三名,这也是整个市场对大数据产业热度,以及大数据产业人才相对匮乏的一个反映,我相信在未来几年,能满足这个产业发展需要的人才将会得到更多、更好的发展空间。”
然而一个严峻的现实摆在我们面前,如何才能培养数据分析人才呢?首先,在大学本科的课程中,更加重视对一线实际数据的分析能力的培养。在教学方面给予足够的重视,是非常非常重要的一环。因为大学本科阶段是打基础的重要阶段,因此若想培养数据分析人才,对数据分析能力的教学是至关重要的。在人才培养阶段,绝对不能让学生轻易“糊弄”过去。
其次,企业主应该重视数据分析在企业决策当中的支撑作用。大企业不应该止步于使用Excel这样的统计分析软件,而是应该使用更加专业和精确的分析软件。另外,可以从国外引进先进的分析方法和模型,定期对员工进行培训,这样可以逐步提高研究人员的业务水平。
另外,政府也应该制定一些针对高水平数据分析人员的鼓励政策。为了防止人才市场上“劣币驱逐良币”的不良竞争出现,政府也应该科学地加以宏观调控。
在大数据时代,数据处理的能力相较几年前已经有了质的飞跃。但如何将这些数据在各行各业中加以利用,并且做出正确的决策,是数据分析人才的工作。
大数据虽然已经在中国遍地开花,但它能否硕果累累,还要取决于高水平的数据分析人员。
☆技术现状
大数据本身的特点,一定程度上也是其技术的必然要求。在处理海量数据的同时,对数据处理人才的需求以及数据处理的技术需求是同样重要的。而大数据技术的真正价值在于对未来发展作预判,因为它本身的优势就是分析和预测。而对大数据的技术应用可以是某个企业,也可以是某个产业。
大数据的技术重点在于应用。在未来,大数据的战略将以应用为中心,以效益为导向,并且将更多地用于政府和企业。
然而,在大数据处理的技术应用方面,国内外还是有很大的差距的。以美国为代表的发达国家已经开始把大数据的利用与大数据技术开发视为国家的一项战略性任务。我国对于大数据的技术应用还处于基本的起飞阶段。况且,我国作为一个发展中国家,经济处于起飞的阶段,非常容易急于求成,并且拥有浮躁的心态。若想在大数据的技术方面有非常重大的突破,必须在大量应用的基础上发展适用的技术,先学会如何把数据应用处理好。
我们国家在数据技术应用层面也有着特殊的国情,这一点我们不得不考虑到。好的一面是,国内大数据市场需求广阔、后续增长潜力大、投资前景好等等。然而与之相伴的另一面则是,人群庞大、复杂程度高。还要考虑到各种政策、理念和历史因素,因此综上所述,中国是世界上最复杂的大数据国家。
用宽带资本董事长田溯宁的话说:“现代历史上的历次技术革命,中国均是学习者。而在这次云计算与大数据的新变革中,中国与世界的距离最小,在很多领域甚至还有着创新与领先的可能。”
大数据已成为21世纪人类可开发利用的重要资源。工业和信息化部通信发展司副司长陈家春对此表示:“我国大数据产业同样也面临着人才匮乏、数据资源不够丰富、数据开放程度较低、相关的法律法规不完善等问题。”
面临着如此复杂的时代环境,国内的互联网公司必须在这波数据服务浪潮中迅速找准自己的位置,把碎片化的数据用种种手段整合起来并加以利用,增强自己掌握数据结构性,加大数据关系性。这将会成为未来产业发展的一个显著走向。而这些数据则是在获取和整合更多的用户行为基础之上才能实现的。例如我们所熟知的云计算、各种木马、cookie之类的产品和服务等等。
虽然这些尝试仍旧处于基础阶段,但是一些硬件层面的变革正在悄悄发生。而硬件层面的技术对于数据本身的收集、存储和分析是不可或缺的。
国际IT企业都推出了针对大数据的产品,并嵌入自身的产品服务之中,如IBM、EMC、惠普等。国内IT企业也认识到了这个问题,开始在原有的产品基础上加大数据领域的研发和投入,并也有了初步的产品和方案。
具体来看,有两点非常有利于中国信息产业的跨越式发展。第一,大数据技术以开发新资源为主,并且这项技术对任何一个国家都是开放的。到目前为止,尚未形成绝对技术垄断,中国公司同样可以分享蛋糕。在过去的几十年中,中国信息产业长期处在产业链的末端,赚取低端的利润,一直落后于国外。虽然国家大力扶持技术方面的创新,甚至会提出创新驱动发展战略,比如对CPU、操作系统、办公软件的创新,但是鲜有成功的案例。然而大数据处理是一个新兴的领域,中外公司几乎站在同一起跑线上。因此有业内人士表示,某种程度上,单纯考虑狭义的大数据处理技术,中外差距仅有5年左右。
第二,由于中国人口众多,经济增长迅速,因此决定了中国的数据资产规模一定冠于全球。数据资产规模巨大,客观上为大数据技术的发展提供了前提。然而如何能够有效地利用这么庞大的数据,则需要政府、学界、产业界、资本市场四方通力合作,这样才能确保最大程度地开放数据资产,保障国家数据安全,促进数据的关联应用,从而释放大数据的巨大价值。
事实上,我国目前对大数据资源的价值和应用,各地方普遍存在“数据割据”和“数据孤岛”的现象。政府、学界、产业界和资本市场尚待达成一致的认知。归根结底,除了技术上的欠缺,对大数据缺乏深刻的理解和认识,缺乏数据开放的理念,是阻碍我国大数据技术在各行业实现大发展的关键因素。因此数据开放的意识和能力是最重要的一点。在数据公开方面,应该由代表公共利益的政府成为数据开放的潮流引领者以及政策制定者,而不能仅仅靠个人和企业。从过去的网络发展来看,未来应该是走向集成、动态、精细和主动的新阶段。
我国正处于现代化发展的新时期,联系到其中所面临的种种问题,要想实现中国制造到中国创造的改变以及缓解教育、交通、医疗保健等各方面挑战,必须通过大数据这种创新方式来解决问题,创建新的产业群,为政府做出科学的预测。
大数据事实上是一条新的产业链,将其扩展开来,会形成规模庞大的基础产业。
虽然目前政府和一些产业积累了大量的数据资产,但是好多行业都缺乏行之有效的算法来充分挖掘大数据背后的真正价值所在。
大数据产业链包括:数据技术产业、数据采集业、数据加工业、数据应用业。数据处理的每一个部分都可以成为相当规模的产业,关键就在于如何实现信息化的转型,这关乎到信息全部领域的生态链建设,对于大数据产业的发展也是至关重要的。
在大数据落地应用方面,国内厂商也有自己的创新。例如神州数码、东软等IT软硬件企业已经看到了大数据的力量,并且开始在原有的业务和产品基础上加大数据领域的研发和投入。浪潮基于对数据产业的认知与积累,采用新型技术体系架构,推出云海大数据一体机解决方案。
虽然我国在数据处理和应用方面和国外有明显的差距,但是以未来的视角看,只要无论是政府、互联网公司、IT企业还是行业用户,都以开放的心态、创新的勇气拥抱大数据,大数据时代就一定有属于中国的机会。
☆文化现状
大数据体现出来的首先是一种世界观,其背后是我们的文化思维所表现出来的力量,以及看待这个新时代的方式。
大数据专家维克多·迈尔·舍恩伯格在其相关书中解释,云计算在获取海量数据的同时,也带来了数据的混杂性,这给传统的数据分析带来了困扰。
以往,我们习惯于由数据得出具体结果。然而,大数据时代,应当关注的是相关关系,而不是因果关系。大数据对于整体数据的获取带来思维方式的改变。它促使我们更加注重事物与事物之间的联系。
大数据带来的另一重要改变是:更多事物可以数据化。例如,社会热点的走向可以数据化,购物习惯可以数据化,社交关系可以数据化……未来我们的生活将会时时刻刻存在着对于各种大数据的分析,这也要求我们每个人都要有分析数据的能力。
有很多例子能够看到我们身处的大数据时代可以走得更远。我们分析数据的时候,分析的样本由部分数据变成了总体数据,云计算能够帮我们搞定所有想要的分析结果;如果你上淘宝,登录支付宝账户,点开电子对账单,你就能看到自己一年的消费曲线图;当你在当当网下单某本书后,它会提醒购买这本书的人中有30%也购买了另外一本书……所有的一切都是基于对大数据的分析。
这些数据可以导出商业潜能,更能导出社会走向。这样庞大的数据分析,在小数据时代根本无法做到。
你可能要问,大数据真的能获得最全面的信息?一些企业已经通过大数据的分析得到了很多的数据分析结果,而这些结果在我们看来是很匪夷所思的。从这些数据中你可能发现,天蝎座的男性在2012年平均消费额最高,上海人用支付宝缴纳水电费的频率最高。7-11便利店通过分析零售终端的数据,得出了“温度低于15摄氏度,暖宝宝的销售量便增加5%”的相关关系。于是,只要温度低于这一度数,店内的暖宝宝就会上架。
当然,正如一枚硬币有正反两面,任何事物都是一把双刃剑。我们身处大数据时代,不得不时时刻刻被它敏锐地监控着我们的生活。仔细思考一下,亚马逊、当当网、淘宝似乎都在监视着我们的购物习惯,百度、谷歌似乎在监视着我们浏览网页的习惯,微博、人人网、朋友网似乎对我们以及我们朋友的关系无所不知。
如何才能够让大数据不侵入我们的隐私边界,是需要我们每一个人严肃思考的问题。
☆企业现状
在大数据的浪潮已成翻天覆地之势时,在世界性的数据革命已不可逆转之时,中国的企业和企业家们做好准备了吗?
马云在发表自己的卸任演讲时警告中国的企业家:“大家还没搞清楚PC时代的时候,移动互联网来了;还没搞清楚移动互联网的时候,大数据时代来了。”
和我写这本书的目的一样,马云在提醒中国的大众和决策精英:大数据时代真的已经来了。这不是什么“狼来了”的不入流故事,而是一个事实。
问题已经抛给了我们的企业。