登陆注册
49122600000003

第3章 大数据是一场革命(2)

在美国,有一家创新企业叫Decide.com,就是充分运用了大数据的集合功能,在全球的各大网站上搜集数以十亿计的数据,从而预测产品和产品的价格趋势。告诉消费者在什么时间段做购买决策,什么时间该购置什么产品,什么时间购买产品是最实惠的。此外,还帮助一些生产厂家提高生产率,降低交易成本,等等。

除了这家企业外,美国的跨国科技企业谷歌公司(Google公司)也顺应时代,走进了大数据的潮流中。其实,谷歌公司的高管们一直不愿意让公司的任何一款产品与大数据有什么联系,而且,禁止公司的员工在对外交流中提到大数据。但是《大数据》作者维克托-舍恩伯格在评价谷歌公司时指出,谷歌公司很清楚自己的位置和处境。实际上,它就是一个大数据公司,因为他们理解大数据的核心所在。如果他们没有看到这些数据的价值,绝对不会迈入这个充满竞争和玄妙的市场。

维克托这话不无道理。早在十多年前,Google公司就已经开始了数据搜集之旅,并利用数据来构建产品。比如,Google搜索,广告,翻译,音乐,趋势以及更多的其他产品,都无法离开海量的大数据。当Google取景车载着全景摄像头满世界跑的时候,Google公司就已搜集到了世界绝大部分城市的街景图;当Google三维红外线照相机不停运作的时候,Google公司已经完成了数千万图书的扫描。

此外,Google还搜集了一些意想不到的数据。比如,用户在进行搜索时打错的字,Google将这些错误的输入存储起来,然后将其和最后正确的输入进行联系,用于开发Google自动更正系统和Google翻译。同样,海量的数据不是关键,重要的是Google公司拥有多项世界领先的大数据技术,如Colossus分布式存储,Big Table列式存储,Caffeine索引系统,Big Query数据分析服务和Cloud SQL(云SQL)。借助强大的技术以及先进的计算模型,Google公司能以一种高效而可靠的方式,充分运用大数据和展示成果。

随着大数据的运用广泛,Facebook在互联网大数据搜集方面也后来者居上。如今,每天有500TB以上的数据上传到Facebook。Facebook上已经存储着近十亿用户分享的个人信息,例如,年龄、性别、所在地、兴趣,等等。同时,这些用户还在Facebook的Timeline(个人生活时间轴)页面记录个人生活故事。在通过个人的基础信息和时间线获取了大量的数据后,Facebook就如同一个用户亲密的朋友,清楚地记得用户的过去和现在,并预测着用户的未来。为了处理这些海量的信息,公司配置了最大的分布式处理系统,单个集群中的数据存储容量就超过了100PB。之后,Facebook通过复杂的数据分析来帮助商家接触潜在目标顾客,从而实现投放广告的准确有效。用户留下的数据越多,Facebook就越了解用户,投放的广告就越发精准。Facebook收入的未来在于其对复杂数据的分析,而不是靠输送大量广告来吸引用户的眼球。

在大数据新兴的模式下,尽管有一些零售商的利润会受到一些影响或打击,但从较好的商业本质来说,消费者可以更理性地购物,更有效地管理资金。

我们再来举一个例子:SWIFT(环球同业银行金融电讯协会)是全球最大的支付平台。在这个平台上,每一笔交易都可以进行大数据分析。研究人员可以预测出一个经济体的健康性和增长性。比如,这个公司现在为全球性客户所能提供的经济指数。

此外,大数据的基本结构还分为三个层次,反映出观察数据库的不同角度。

第一层是物理数据层:是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。这些数据是最原始数据,也是供用户加工的对象。物理数据层由内部模式描述的指令操作处理的位串、字符和字组合而成。

第二层是概念数据层:是数据库置于中间的一层,也是数据库的整体逻辑的部分。这层数据层指出了数据与数据之间的逻辑定义和联系,是存贮资料的整合点。此时要注意的是,这层数据层所涉及的是数据库所有对象的逻辑关系,而不是其物理情况。

第三层是逻辑数据层:是体验用户能够看到和使用的数据库,也是能够证明用户使用过的证明和踪迹。

总之,小数据,大集合就是按照某种数据集中起来并存放二级存储器中的一种方式。这种数据集合还有着一定的特点,比如尽量不出现重复的情况。

3.创新思维

从目前看,全世界的数据总量正持续增长。过去三年内所产生的数据量已超过去的总和。随着互联网、物联网等IT行业的蓬勃发展,新数据源如泉水般涌现,GPS、传感器等数据持续并大量产生。而由于数据获取成本、存储成本和处理成本比较低,也推动了数据总量的膨胀。

2011年6月,美国麦肯锡公司全球研究院在题为《大数据:下一个创新、竞争和生产力的前沿》的研究报告中指出—大数据时代已经到来。的确,大数据的到来势不可挡,它迅速抓紧了时代的前沿和趋势。2012年3月,美国政府宣布“大数据的研究和发展计划”,将大数据视为增强国家竞争力的秘密武器之一。

其实,不仅仅是美国,包括我国在内的一切其他国家,也都把大数据放置在国家战略层面上,并一致认为:一个国家未来的竞争力将体现在拥有数据的规模及运用数据的能力上。

这一创新思维,已为人们在信息技术领域好好上了一课。更有甚者,将大数据比喻为推动人类社会发展的“新石油”。这一比喻可谓贴切至极。

作为继云计算和物联网后又一次具有颠覆性的技术革命,大数据深受人们的推崇,并被广泛使用。此外,就连当今世界科技创新、国家安全战略以及新军事变革也青睐起大数据来,将其作为极为重要的知识增长点。据国外的媒体爆料:截至2012年年底,全球互联网总数据存储量高达160亿TB,并正以59%以上的年增长率高速增长。有评论指出,每天遍布世界各个角落的传感器、移动设备和在线交易等产生的海量数据昭示世人:人类已加速步入“大数据时代”。

在军事领域,大数据更是充分发挥出独有的能力。在海量的数据库面前,随便打开一座,里面都是有价值的数据。再通过分析发现规律,便能够获取高价值的信息,从而做出重要决策,把握时局。这也是大数据的军事价值。

比如,美国的“海豹”突击队击毙本·拉登事件,于刹那间吸引了全球人的眼光。不过,外军经过深入研究后指出,能够发现本·拉登并将其击毙,靠的是几千名数据分析员和长达十对海量信息的分析。因此,有人说是“数据抓住了本·拉登”。

无独有偶。在美俄达成有关叙利亚化武换和平协议的时候,美国情报机构列出了叙利亚数十项化武生产和储藏地点清单。可以说,能够发现和锁定目标,是基于美卫星数据情报和分析员长时间的分析。专家告诫:驾驭未来战争,绝不能忽视没有硝烟的大数据战场。

看来,数据的创新思维,已经影响到人类生活和生存的方方面面。现在,我们来详细地归纳一下大数据创新思维对人类经济社会发展影响巨大的几个主要方面。

首先,大数据的创新思维可以推动并实现巨大的经济效益。

据麦肯锡公司全球研究院通过研究得出结论:大数据给美国的医疗服务业带来的经济价值高达3000亿美元;大数据使美国零售业净利润增长60%;大数据降低了制造业的产品开发和组装成本,并让其成功下降50%。有专家称,大数据所衍生和产生信息技术的应用需求,将推动整个网络信息技术的发展。到了2016年,预计全球大数据会在一定的程度上拉动信息技术,金额支出将高达2320亿美元。

其次,大数据的创新思维可以增强社会管理水平。

在政府和公共服务领域,大数据的出现有效地推动了政务工作的开展,提高了政府部门的决策水平、服务效率和社会管理水平,并产生了不可估量的社会财富。在大数据的影响和帮助下,欧洲等地的多个城市运用大数据分析,采集到准确的交通流量数据,从而能够及时提醒驾驶者哪条是最佳的出行路线,以此改善交通拥堵的状况。

最后,大数据所具备的创新思维还可以推动和提高安全保障能力。在国防、反恐、安全等领域,大数据应用也起着至关重要的作用。比如,大数据会将各部门搜集到的信息进行自行分类、整理和分析,有效解决情报、监视和侦察系统不足等问题。

因此,人们可以了解到,大数据的创新思维不仅是认识和改造世界的有力工具,还是能掌握事物的发展规律,准确预测未来的好帮手。

4.转型思维

早在1996年,美国联邦政府就声称信息是重要的国家资源,并认为自己是美国最大的单个信息生成、搜集、使用和发布方。

以美国人口普查局为例。

它作为美国人口、经济和政府方面重要统计数据的主要来源,目前拥有2560TB(太字节)的数据,如果把这些数据全部打印出来,用四个门的文件柜来装,需要5000万个才能装下。美国国家安全局对全美的电话进行监控,每六小时产生的数据量,就相当于美国国会图书馆(世界上馆藏量最大的图书馆)所有印刷体藏书的信息总量。此外,美国财政部、美国卫生部和美国劳工部也都是数据密集型的行政管理部门。而这,只是美国联邦政府数百个机构当中的几个例子。

为承担这些数据的存储和维护工作,1998年,美国联邦政府共拥有432所数据中心,而到了2010年,数据中心的总数跃升到2094所,翻了几番。1996年,美国联邦政府的年度信息技术预算是180亿美元,十多年来不断上升,到2010年,已经高达784亿美元。据报道,这些投资中的一半以上都用在了购买存储数据的硬件设备上。在大数据转型思维的冲击和配合下,政府不仅仅成为最大的受益者,也成为占有者之一,在诸多方面起到了至关重要的作用,如基础设施方面、大数据产业方面、人才培养上以及完善相关标准和立法方面等。

在我国,政府在资源配置方面起着调配的作用,能够集中力量办大事,并影响和带动大数据加速发展。不过,由于政府在大数据方面的能力以及对大数据的熟悉程度较弱,所以要想真正运用好大数据,要面临的问题也不止一两个。其中,就包括一些转型方面。

比如,大数据推动管理的现代化转型。将大数据的手段及其方式方法引入管理领域,是实现管理现代化的有效路径之一,也是大数据时代必然迈出的一步。

同类推荐
  • 当当创业内幕

    当当创业内幕

    当当网成立于1998年,初以“网络书店”起家,后逐渐成长为集家居、美妆、数码、百货等于一体的综合性网上购物商城。它挺过了2000年的互联网寒冬,度过了2008年的金融危机,逆市上升,成为行业的领跑者。面对风投以及“老师”亚马逊的巨额资金诱惑,当当网谨慎选择了保留企业创始人的决策权,并立志把“孩子”养大,李国庆和俞渝的龙凤搭档遂成为人们津津乐道的话题。电商混战,风起云涌,在强手如林的B2C行业中,当当网的机遇在哪里,软肋又有哪些?
  • 重庆金融

    重庆金融

    本书分为重庆金融与重庆经济改革共奋进、重庆金融业的创新与发展、重庆金融跨越发展三篇,内容包括:重庆金融产业稳健发展、建立健全现代金融监管体系、金融产业创新亮点纷呈、重庆银行业创新与发展等。
  • 强势领导,强势管理

    强势领导,强势管理

    在激烈的市场丛林中,强者战胜弱者,快者淘汰慢者,这永远是不变的竞争法则。商场竞争不相信眼泪,不相信空泛的口号,相信的是实力,相信的是效益。在行业分工越来越细、技术变革越来越新的今天,每天都有公司破产,每天都有公司倒闭,这些企业倒下去的原因千千万,但是企业不断做大做强的秘诀只有一个,那就是强势管理。
  • 如何打造旺铺名店

    如何打造旺铺名店

    虽然竞争者很多,但是只要经营有方,经营者依然可以从中获得丰厚的利润。所以,从现在开始,投资一家旺铺,是创业者功成名就梦想的开始。当然,任何事情都不是随随便便可以做成的,何况是经营一家旺铺,而且许多投资者属于初次创业,没有任何经营经验、实力。本书正是为这些初次创业,并打算投资一家旺铺的投资者编撰的。本书作者亦经营私人公司多年,根据个人创业经历、经验、结合多次深入的市场考察,为投资者提供了诸多打造名店旺铺的宝贵经验。比如如何进行项目选择、投资;如何选择店铺地址;如何进行市场考察;如何为自己打好广告;如何营造关系网;如何实行店铺内部管理等等。
  • 喧嚣与轮回

    喧嚣与轮回

    作者以编年史的形式,选取新中国成立60多年来具有代表性的商业人物和事件,以此展开一个时代的商业史画卷,例如“1951纺织工人的春天”、“1958王选:教师到企业家”、“1984柳传志与张瑞敏:一年两“大佬””、“2000马云:《福布斯》封面的中国企业家”,等等。
热门推荐
  • 我用卡牌来修仙

    我用卡牌来修仙

    身为精通多门卡牌游戏的职业牌手陈丘,意外穿越到古川大陆。并得到宣称囊括万界卡牌的万能卡牌系统。【杀】【闪】【桃】!【扭曲虚空】!【栗子球】【青眼白龙】!这些居然能够真正召唤使用!修士皆有道,看我陈丘走出一条全新的牌道!
  • 重生之神豪人生

    重生之神豪人生

    重回10年前,获得聚宝盆系统!刘山的人生变得精彩纷呈。(群+208558043)
  • 这只阎王有点宅

    这只阎王有点宅

    阎王,顾名思义,掌管世间万物生死的主人!由于各种因果,哪怕是神也有消逝的一天,鬼母花浅离在一次负责异界引渡中销声匿迹,现任阎王‘阎枫’为寻觅爱妻踪迹,独自进入时间轨迹一去不复返,从此冥界大乱,鬼哭神嚎!它们想要趁着阎王不在之时突破冥界界限重返阳间。鬼界就要大乱,九殿阎罗自知如果在不出手,恐怕会酿成大祸,无赖之下,原本各施其职互不干涉的九殿阎罗,只好联手同时镇压,这才算平息了这场冥界灾祸,熟知国不可一日无君,冥界不可一日无主,虽然已经过去了20年…咳咳,为此前任阎王之子被迫上任,谁知…
  • 异界殇神曲

    异界殇神曲

    ‘刀魂现,残影拳,神剑魄,长青山,逆天战。’这十五字批言便是术士道长老在圣教分裂时所作的批言,但千年以来,一直都没有人知道它的意思。当千年未现的刀魂出现在一个孩子身上,同时更身负命不过九的九阴绝脉,便注定了其坎坷的一生,看失忆的战泽如何破除九阴不过九的命运之手,一步步成为绝世强者,演绎一段精彩绝轮的异界殇神传说。远古五大道派的神秘消失;斗气流与魔法流的异军突起;五大帝国的破国之战;热血沸腾的男人誓言;忧伤凄美的爱情故事;所有的一切,尽在【异界殇神曲】
  • 双世情之除妖记

    双世情之除妖记

    她,本是二十一世纪的驱魔人,一次意外穿越醒来后发现自己双腿被血淋淋的打断还身在乱葬岗,零碎的记忆还在脑海中回旋,原来胆小懦弱的本体在大户人家受尽委屈还不能声张,大少爷,大少奶奶的责骂毒打,丫鬟们的嘲笑,二房秘密被揭穿的斩草除根,种种仇怨让身为二十一世纪的她看不下去,回到原本的府上,虽然是不起眼的小丫鬟,可这次的归来,便是她为自己讨回公道的开始,黄釉妖的复仇,狐妖飞升的坎坷之路,树精的攻击,蛇妖,吸血腾的磨难,看女主如何在民国历练!
  • 这个墓没有这么简单

    这个墓没有这么简单

    1994年河南滑县一个偏僻的小村庄境内,发现了一座大型的古代墓葬群。一支省级考古队立刻对墓葬群展开了七个工作日的考古发掘,最终确定这是来自于西周时期的墓葬。然而当考古队想深入展开对墓葬的发掘和调查时,一件诡异的事情发生了。三个深入墓葬群的考古工作人员在进入其中的一座3号墓之后,突然失踪了。几个月后,我和二叔来到河南滑县的考古现场,并且亲自走进了古墓之中,在里面,我看到了终极。
  • 武道仙神

    武道仙神

    他从未知的世界闯荡到此,追寻武道的奥秘。百族争锋,人族势弱,他将何去何从?天骄无数,挑战众神,他能否脱颖而出?越级挑战,成仙封神,那里是他的顶峰?
  • 有你的人生才欢喜

    有你的人生才欢喜

    这是一个很短很甜的故事憨憨女学霸VS傻傻男猪脚“小欢欢~我想要吃糖”“吃什么吃,我看你长得像个糖”“那……你吃我吧!我超甜!”
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 占卜师的故事

    占卜师的故事

    一牌知天命,一手画乾坤。福祸皆天意,半点不由人。万般皆是命,何必提前知!且看一代占卜师——阿乐,如何在这妖魔横行的都市,一步步化险为夷,最终成就自己的大道。这是天意如此还是早有人安排?