在美国,有一家创新企业叫Decide.com,就是充分运用了大数据的集合功能,在全球的各大网站上搜集数以十亿计的数据,从而预测产品和产品的价格趋势。告诉消费者在什么时间段做购买决策,什么时间该购置什么产品,什么时间购买产品是最实惠的。此外,还帮助一些生产厂家提高生产率,降低交易成本,等等。
除了这家企业外,美国的跨国科技企业谷歌公司(Google公司)也顺应时代,走进了大数据的潮流中。其实,谷歌公司的高管们一直不愿意让公司的任何一款产品与大数据有什么联系,而且,禁止公司的员工在对外交流中提到大数据。但是《大数据》作者维克托-舍恩伯格在评价谷歌公司时指出,谷歌公司很清楚自己的位置和处境。实际上,它就是一个大数据公司,因为他们理解大数据的核心所在。如果他们没有看到这些数据的价值,绝对不会迈入这个充满竞争和玄妙的市场。
维克托这话不无道理。早在十多年前,Google公司就已经开始了数据搜集之旅,并利用数据来构建产品。比如,Google搜索,广告,翻译,音乐,趋势以及更多的其他产品,都无法离开海量的大数据。当Google取景车载着全景摄像头满世界跑的时候,Google公司就已搜集到了世界绝大部分城市的街景图;当Google三维红外线照相机不停运作的时候,Google公司已经完成了数千万图书的扫描。
此外,Google还搜集了一些意想不到的数据。比如,用户在进行搜索时打错的字,Google将这些错误的输入存储起来,然后将其和最后正确的输入进行联系,用于开发Google自动更正系统和Google翻译。同样,海量的数据不是关键,重要的是Google公司拥有多项世界领先的大数据技术,如Colossus分布式存储,Big Table列式存储,Caffeine索引系统,Big Query数据分析服务和Cloud SQL(云SQL)。借助强大的技术以及先进的计算模型,Google公司能以一种高效而可靠的方式,充分运用大数据和展示成果。
随着大数据的运用广泛,Facebook在互联网大数据搜集方面也后来者居上。如今,每天有500TB以上的数据上传到Facebook。Facebook上已经存储着近十亿用户分享的个人信息,例如,年龄、性别、所在地、兴趣,等等。同时,这些用户还在Facebook的Timeline(个人生活时间轴)页面记录个人生活故事。在通过个人的基础信息和时间线获取了大量的数据后,Facebook就如同一个用户亲密的朋友,清楚地记得用户的过去和现在,并预测着用户的未来。为了处理这些海量的信息,公司配置了最大的分布式处理系统,单个集群中的数据存储容量就超过了100PB。之后,Facebook通过复杂的数据分析来帮助商家接触潜在目标顾客,从而实现投放广告的准确有效。用户留下的数据越多,Facebook就越了解用户,投放的广告就越发精准。Facebook收入的未来在于其对复杂数据的分析,而不是靠输送大量广告来吸引用户的眼球。
在大数据新兴的模式下,尽管有一些零售商的利润会受到一些影响或打击,但从较好的商业本质来说,消费者可以更理性地购物,更有效地管理资金。
我们再来举一个例子:SWIFT(环球同业银行金融电讯协会)是全球最大的支付平台。在这个平台上,每一笔交易都可以进行大数据分析。研究人员可以预测出一个经济体的健康性和增长性。比如,这个公司现在为全球性客户所能提供的经济指数。
此外,大数据的基本结构还分为三个层次,反映出观察数据库的不同角度。
第一层是物理数据层:是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。这些数据是最原始数据,也是供用户加工的对象。物理数据层由内部模式描述的指令操作处理的位串、字符和字组合而成。
第二层是概念数据层:是数据库置于中间的一层,也是数据库的整体逻辑的部分。这层数据层指出了数据与数据之间的逻辑定义和联系,是存贮资料的整合点。此时要注意的是,这层数据层所涉及的是数据库所有对象的逻辑关系,而不是其物理情况。
第三层是逻辑数据层:是体验用户能够看到和使用的数据库,也是能够证明用户使用过的证明和踪迹。
总之,小数据,大集合就是按照某种数据集中起来并存放二级存储器中的一种方式。这种数据集合还有着一定的特点,比如尽量不出现重复的情况。
3.创新思维
从目前看,全世界的数据总量正持续增长。过去三年内所产生的数据量已超过去的总和。随着互联网、物联网等IT行业的蓬勃发展,新数据源如泉水般涌现,GPS、传感器等数据持续并大量产生。而由于数据获取成本、存储成本和处理成本比较低,也推动了数据总量的膨胀。
2011年6月,美国麦肯锡公司全球研究院在题为《大数据:下一个创新、竞争和生产力的前沿》的研究报告中指出—大数据时代已经到来。的确,大数据的到来势不可挡,它迅速抓紧了时代的前沿和趋势。2012年3月,美国政府宣布“大数据的研究和发展计划”,将大数据视为增强国家竞争力的秘密武器之一。
其实,不仅仅是美国,包括我国在内的一切其他国家,也都把大数据放置在国家战略层面上,并一致认为:一个国家未来的竞争力将体现在拥有数据的规模及运用数据的能力上。
这一创新思维,已为人们在信息技术领域好好上了一课。更有甚者,将大数据比喻为推动人类社会发展的“新石油”。这一比喻可谓贴切至极。
作为继云计算和物联网后又一次具有颠覆性的技术革命,大数据深受人们的推崇,并被广泛使用。此外,就连当今世界科技创新、国家安全战略以及新军事变革也青睐起大数据来,将其作为极为重要的知识增长点。据国外的媒体爆料:截至2012年年底,全球互联网总数据存储量高达160亿TB,并正以59%以上的年增长率高速增长。有评论指出,每天遍布世界各个角落的传感器、移动设备和在线交易等产生的海量数据昭示世人:人类已加速步入“大数据时代”。
在军事领域,大数据更是充分发挥出独有的能力。在海量的数据库面前,随便打开一座,里面都是有价值的数据。再通过分析发现规律,便能够获取高价值的信息,从而做出重要决策,把握时局。这也是大数据的军事价值。
比如,美国的“海豹”突击队击毙本·拉登事件,于刹那间吸引了全球人的眼光。不过,外军经过深入研究后指出,能够发现本·拉登并将其击毙,靠的是几千名数据分析员和长达十对海量信息的分析。因此,有人说是“数据抓住了本·拉登”。
无独有偶。在美俄达成有关叙利亚化武换和平协议的时候,美国情报机构列出了叙利亚数十项化武生产和储藏地点清单。可以说,能够发现和锁定目标,是基于美卫星数据情报和分析员长时间的分析。专家告诫:驾驭未来战争,绝不能忽视没有硝烟的大数据战场。
看来,数据的创新思维,已经影响到人类生活和生存的方方面面。现在,我们来详细地归纳一下大数据创新思维对人类经济社会发展影响巨大的几个主要方面。
首先,大数据的创新思维可以推动并实现巨大的经济效益。
据麦肯锡公司全球研究院通过研究得出结论:大数据给美国的医疗服务业带来的经济价值高达3000亿美元;大数据使美国零售业净利润增长60%;大数据降低了制造业的产品开发和组装成本,并让其成功下降50%。有专家称,大数据所衍生和产生信息技术的应用需求,将推动整个网络信息技术的发展。到了2016年,预计全球大数据会在一定的程度上拉动信息技术,金额支出将高达2320亿美元。
其次,大数据的创新思维可以增强社会管理水平。
在政府和公共服务领域,大数据的出现有效地推动了政务工作的开展,提高了政府部门的决策水平、服务效率和社会管理水平,并产生了不可估量的社会财富。在大数据的影响和帮助下,欧洲等地的多个城市运用大数据分析,采集到准确的交通流量数据,从而能够及时提醒驾驶者哪条是最佳的出行路线,以此改善交通拥堵的状况。
最后,大数据所具备的创新思维还可以推动和提高安全保障能力。在国防、反恐、安全等领域,大数据应用也起着至关重要的作用。比如,大数据会将各部门搜集到的信息进行自行分类、整理和分析,有效解决情报、监视和侦察系统不足等问题。
因此,人们可以了解到,大数据的创新思维不仅是认识和改造世界的有力工具,还是能掌握事物的发展规律,准确预测未来的好帮手。
4.转型思维
早在1996年,美国联邦政府就声称信息是重要的国家资源,并认为自己是美国最大的单个信息生成、搜集、使用和发布方。
以美国人口普查局为例。
它作为美国人口、经济和政府方面重要统计数据的主要来源,目前拥有2560TB(太字节)的数据,如果把这些数据全部打印出来,用四个门的文件柜来装,需要5000万个才能装下。美国国家安全局对全美的电话进行监控,每六小时产生的数据量,就相当于美国国会图书馆(世界上馆藏量最大的图书馆)所有印刷体藏书的信息总量。此外,美国财政部、美国卫生部和美国劳工部也都是数据密集型的行政管理部门。而这,只是美国联邦政府数百个机构当中的几个例子。
为承担这些数据的存储和维护工作,1998年,美国联邦政府共拥有432所数据中心,而到了2010年,数据中心的总数跃升到2094所,翻了几番。1996年,美国联邦政府的年度信息技术预算是180亿美元,十多年来不断上升,到2010年,已经高达784亿美元。据报道,这些投资中的一半以上都用在了购买存储数据的硬件设备上。在大数据转型思维的冲击和配合下,政府不仅仅成为最大的受益者,也成为占有者之一,在诸多方面起到了至关重要的作用,如基础设施方面、大数据产业方面、人才培养上以及完善相关标准和立法方面等。
在我国,政府在资源配置方面起着调配的作用,能够集中力量办大事,并影响和带动大数据加速发展。不过,由于政府在大数据方面的能力以及对大数据的熟悉程度较弱,所以要想真正运用好大数据,要面临的问题也不止一两个。其中,就包括一些转型方面。
比如,大数据推动管理的现代化转型。将大数据的手段及其方式方法引入管理领域,是实现管理现代化的有效路径之一,也是大数据时代必然迈出的一步。