告别小数据时代
我们依托某一个独立的数据点产生的直觉来分析、判断问题,就是很典型的“小数据时代”的技术做法。但是,这种靠某一个点产生的直觉和数据判断,只能够解决日常问题,面对复杂的信息流时,它往往会使我们在归类和决策时误入歧途,从而产生一系列的错误--某个信息“点”可以由点及面,对普遍规律做出模糊预测吗?个案是否具有代表性和广泛性?今天发生的,明天是否还会发生?
如果缺乏对于连续数据和多领域数据的宏观统计,以及对相关技术的研发和使用,人们就可能会被最新和最近的“数据点”搞得眼花缭乱,而失去了对于大局的整体把握。
大数据技术与小数据技术恰恰相反,它更多是一种宏观的技术思维,是让我们从“盘子里”跳出来,以更宽阔的视野寻找答案的动力,是帮助我们从各种类型的数据中综合而且快速获得有价值信息的能力。
就像操作系统一样。如果说小数据是安卓(只能用于手机),大数据就是XP。它承载更多,速度更快,分析更准,容量更多元,且能引发一场技术性的变革。
在技术准备上,与小数据的单一相比,大数据也更为广泛,几乎穷尽现今的一切互联网技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网和可扩展的存储系统等。
拿我们的生活来说,假如你使用大数据技术来管理自己的日常生活,那么就不能只靠一个个简单的没有关联的Excel文档进行统计,而应该使它们互动起来,建立一个综合数据库,分类分析和总结,进而才能改进我们的“生活管理”。
消费数据:
在生活中我们对消费的统计是很重要的一件事,我相信几乎人人都有一本家庭账目。但对消费数据怎么统计和分析,使用什么样的工具和方法,最后的结果是大不相同的,甚至会出现截然相反、冰火两重天的对比。
像小数据的统计方法,无非是罗列式的,1月花了多少,2月花了多少,挨月记下来,年底一汇总才发现:呀,这一年我竟然花了7万元在没必要的事项上,超过了自己的计划,怎么办?只能接受现实。但用这种方法,第二年往往还是这样,解决不了问题。
如果换一种思维,我们可以给自己引入大数据的统计技术。比如根据消费计划,分别列出不同的表格,重新记账、分类和分析:哪些钱是该花的?哪些是不该花的?哪些钱的消费属于一时冲动?哪些属于我们被商家忽悠的?
重要的不是统计,而是寻找原因。我们革新思维,重新利用技术。技术并没有划时代的突进,只是使用的功能变了。因此,我们就能够从中找出自己在消费时乱花钱的诱因,再视具体的情况做出改变,并且要每周统计、每周分析,实行消费支出预算制,才能达到理性消费的目标。
时间数据:
大数据在时间管理上也有它高效的应用。怎样将你有限的时间和精力进行合理的分配?如何让自己拥有最高效率的时间应用?小数据思维是确定工作计划然后按计划去做就可以了,严格地执行计划表,是小数据时代的时间管理原则。但大数据时代则不同,你首先需要确定目标,然后将你要做的事情,根据重要程度分清顺序,再罗列计划和执行方案。在时间的监督过程中,你还需要随时调整不同事项的紧急程度,灵活地变革计划,以让自己的时间达到最高效的使用。
工作数据:
在小数据时代,工作数据是一本流水账,你看到的都是枯燥的记录。大数据则让它变成了一座工作数据的储藏宝库。而且,这不仅仅是一个通过数据进行工作记录的过程,更是我们不断总结和认识自己的成长历程。
大数据不会为你提供最终答案,它记录的一切都只是为了让你参考--你能方便地分析过去,总结现在,收获经验,以便获得更好的工作方法以及工作的方向。
我的一位朋友研究数据技术的各类应用已有十几年的时间,他现在最大的感受就是:“技术的变革虽已开始,但许多人还没有认识到,自己应该尽快忘记小数据的技术思维,马上投入大数据的技术世界,才能抓住未来。这表明技术的重组其实是在构建一个更高的平台,它需要我们思维的进步,然后才能心安理得地享受数据技术的新功能。比如,十年前我们搞街头调查的时候,只需要一次抽样调查就可以了,这是小数据;但是现在,却需要在全球几十个国家的上百座城市同时进行一次调查,然后汇总数据进行实时分析,并迅速得出结论,这就是大数据。很显然,我不确定从业者都已紧跟潮流。”
现在,我们建立“大数据技术”的动力有哪些?第一个动力是,我们必须明确:“我们是否真的需要大量的数据?”这是一个“大数据到底为何存在”的问题。假如你不能先解决这个问题,你就会盲目地为了拥有大数据而去变革技术,付出无效的代价。有的人对大数据满怀期待,希望能够发现过去没有认识到的东西,收获惊喜的结果,最后却发现“这些东西我们根本用不上”或者“这不过是已有的事实”而已。
就像有的公司,为了系统开发投入了几千万元,信誓旦旦要迈入大数据的门槛,告别小数据时代,最终得出的不过是证明了资深员工的“经验”的结论,这就太让人难以接受了。只有“需求”才是最大的动力,这是技术进步的主要推动力。如果你没有需求,那么小数据技术也挺好。就像你使用手机如果只是为了接听电话和发一发短信,从来不会上网和视频通话,为何还要花很多钱购买苹果手机呢?
第二个动力与维护数据的需求有关:由谁来维护大量的数据,才能保障数据的质量呢?
换句话说,我们的技术(技术人员)能否保证收集和整理到高质量的数据?
比如,一家公司的部门主管每个月都会收到某客户的宣传资料,但收件人的头衔并不是“部门总监”,而是他在前一段时间兼任公司市场部经理时的头衔。虽然这不是什么大问题,他也仍然会按时收到这些资料,但他还是提出,希望对方改变一下头衔。
客户经理当场道歉,并表示回去会马上进行修改。但到次月,这位主管再次收到资料时,发现收件人的头衔没有任何更改,仍然写着几个大大的字:市场部经理。他非常失望,然后决定中止与该客户的合作。
问题出在哪里?仅仅是对方没有重视这一个细节吗?当然不是,归根结底,该客户公司缺乏维护顾客数据库的意识,在收集和整理数据时,工作充满了疏忽,无法保持高质量数据的实时性。小数据时代不必在乎这些,但在大数据时代,“企业外部”的数据是否最新、是否精确,都是一件极为重要的事情。
如果你的人员收集而来的数据出处不明,或存在严重错误,那么数据将毫无意义;如果这些数据不实时维护与更新,不是最新的数据,也不会产生任何价值。
第三个动力是我们的工作激情与事业规划。
具体地讲,就是企业的战略规划与员工的事业目标是否完美地结合了起来。如果没有,那么员工的工作激情就会成为问题。当你希望他们与公司一起迈进大数据时代、布置大数据技术时,他们的思维仍然是“小数据时代”的,在相当长的一段时间内,使用的也必然还是小数据技术。
这也告诉我们,在大数据的技术革新中,人的因素永远是最重要的。企业的方向是努力培养我们的数据科学家,同时提升现有人员的分析数据的能力,提高他们的激情,增加他们分析和利用数据的意识。假如我们的每一名员工都十分擅长“数据”,也对数据有极高的敏感度,经常可以自主地通过数据考虑事情并进行判断,你的公司一定能够强大起来,也必然会强大起来。
重要的是,数据为工作带来成效,也能由此让员工的工作动力更加充足。这三点对于大数据的技术应用非常重要。中国人对于大数据已经期待很久了,我们也开始在各类新闻节目和财经频道中看到它的影子,但要想从小数据的技术习惯中彻底摆脱出来,让大数据真正成长壮大,还需要很多的努力。
数据服务产业链
管理学大师德鲁克说:“当今企业间的竞争,不再仅仅是产品的竞争,更是商业模式的竞争。”
大数据要想落地,必须有三个条件:一是丰富的数据源,二是强大的数据挖掘和数据分析能力,三是建立完善的数据服务产业链,也就是商业模式。商业模式指导着公司如何赚取剩余价值,因此确立公司在产业链和价值链中的位置,至关重要。
现在,在IT领域,已经逐步降低了分析技术的门槛。很多企业因为数据源匮乏,因此在各自的大数据战略上纷纷受挫。它们感到迷茫:“都说大数据是机遇,但机遇在哪儿?”它们也由此迷失了自己在数据服务产业链中的位置,反而感觉不如以前,因此萌生出还不如小数据模式的想法。
企业要想在大数据时代领先,必须获取更多的数据,并且明确自己的商业模式,在价值链中如何选取上下游合作伙伴以及怎样与客户达成交易、为客户提供价值。要知道,这是大数据的基础,更是大数据战略成败的核心。许多企业的迷失,恰恰是在新的产业链条中对于商业模式和产业分工的迷茫。
在大数据时代,共有三种大数据公司活跃在大数据产业链上:
1.数据拥有者:基于数据本身的公司。拥有大量数据,但是不具有数据分析的能力。
2.技术提供者:基于技术的公司。例如技术供应商或者数据分析公司等。
3.服务提供者:基于思维的公司,也就是挖掘数据价值的大数据应用公司。
扮演着不同的产业链的角色,就具有不同的盈利模式。我们可以对大数据的商业模式做一下梳理和细分,以供读者参考。
☆“数据拥有者”的商业模式
数据拥有者的公司共有三类:
1.对大数据的重复利用是其发展的原动力,其中大数据是它们业务的核心,这种公司具有很强大的大数据技术能力,同时具有三种产业链角色:数据+技术+服务。多数时候,它们公司的技术用于自身的运作。例如谷歌、亚马逊、百度、阿里巴巴等这些世界级的互联网企业。
2.大数据是为提高自己公司的生产效率、增加业务收入或者创造新的收入提供基础的,并非厂商的主流业务。例如运营商、银行等,目前运营商本身并不通过数据的重复利用来盈利,其主要业务是通信设备提供的各种网络语音和数据业务。
3.数据中间商。此类公司从各种地方搜集数据进行整合,然后再提取有用的信息进行利用,把这些高价值的数据提供给需要的公司,但是它们本身不具有创造数据的能力。比如一些调查公司等。
这些数据拥有者的商业模式有:
2B:提供数据分析的结果,主要面向企业或者政府部门。例如Inrix公司出售完整的交通状况的模式图给交通规划部门、物流公司、GPS生产商等。
2C:提供基于数据分析结果的服务,主要面向个人。例如Inrix公司为用户提供免费的交通信息,但是这是一个免费的智能手机应用程序,用户可以自行下载,该公司自己却可以得到同步的数据。
2D:把数据或信息作为资产直接进行销售,并且构建一个数据资产分享和交易平台,这是一种全新的商业模式。例如推特通过两个独立的公司把它的数据授权给别人使用;VISA公司通过收集和分析210个国家的15亿信用卡用户的650亿条交易记录来预测商业发展和客户的消费趋势,最后把这些分析结果卖给其他的公司。
☆“技术提供者”的商业模式
技术提供者们目前主流的商业模式是2B,其中有4种类型:
1.提供单点技术为主。例如,Teradata公司为沃尔玛这个大型零售商提供大数据分析技术。
2.提供整体解决方案,其中以IT厂商为主。例如,著名的IBM公司提供了一套完整的大数据解决方案;中国华为的大数据解决方案则是基于IT基础设施领域在存储和计算的优势。
3.大数据空间出租。通过出租一个虚拟空间,从简单的文件存储,逐步扩展到数据聚合平台,在大数据计算基础设施上与云端有机结合。例如,腾讯公司的“开放云”战略中,小企业也有机会在大数据领域创新业务,为大数据创业者提供了廉价的数据基础设施。
4.提供E2E在线大数据技术或者解决方案,即Bigdataasaservice。简言之,这是一种新的商业模式。例如,RJMetrics公司有一款软件,客户只需在软件端输入特定数据,该公司便会在7日内优化数据,将这些信息备份到安全的服务器上之后,以清晰简洁的界面将数据分析结果反馈给客户。该软件的定价只有每月500美元,却能够为电商提供快捷的商业智能在线服务。另外,GoodData公司则面向商业用户和IT企业高管提供数据存储、性能报告、数据分析等工具,其中,所有商业智能分析所需的数据都将在云端进行。
技术提供者也有2C商业模式,但是目前还比较少,与云端结合后却会有很大的空间,这在未来将会是一种巨大的趋势。例如,有些公司面向个人的家庭帐单、家庭耗能节能等或者面向个人数据的一些大数据解决方案。假如你有需求,并有支付成本的能力,你可以立即得到这种便捷的服务。
☆“服务提供者”的商业模式
大数据的服务提供者有两种,一种是应用服务提供者,另一种是咨询服务提供者。
1.应用服务提供者是对外提供服务的,它是基于大数据技术的一项服务。
商业模式--
2B商业模式:提供数据分析结果的服务,主要面向企业或者公共政府部门。例如前面提过的Inrix公司。
2C商业模式:提供基于数据分析的服务,主要面向个人。例如,Flightcaster公司和FlyOnTime.us公司通过分析过去十年里每个航班的情况并且将其与天气情况进行匹配,以此预测航班是否会晚点。
2.咨询服务提供者是头脑风暴的大赢家,他们主要提供技术服务支持、技术(方法、商业等)咨询,或者为企业提供某种咨询服务,类似数据科学家。
商业模式--
2B商业模式:他们通过大量数据支持,利用数据挖掘技术帮助客户开拓精准营销,对数据进行挖掘分析后预测相关主体的行为。他们的收入来自客户增值部分的分成。例如德国咨询公司GFK提供基于地点的人员流动的数据,以时间为维度,分析特定区域的人员人口统计数据(性别、年龄)和行动等数据,主要面向零售商、政府部门、公共机构等。这类企业成长非常快,擅长数据挖掘分析技术,帮助一些数据大户如银行、运营商等开展新的业务。