搜索
1大数据管理：概念、挑战、机遇及商务管理研究前沿问题2•随着以博客、社交网络、基于位置的服务（LocationBasedServices,LBS）为代表的新型信息发布方式的不断涌现以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。3•全球知名的咨询公司麦肯锡（McKinsey）2011年6份发布一份关于大数据的详尽报告“Bigdata:Thenextfrontierforinnovation,competitionandproductivity”对大数据的影响关键技术和应用领域等都进行了详尽的分析。4•2012年3月美国奥巴马政府发布了“大数据研究和发展倡议”（Bigdataresearchanddevelopmentinitiative），投资2亿美元正式启动“大数据发展计划”，计划在科学研究、环境、生物医学等领域利用大数据技术进行突破，奥巴马政府的这一计划被视为美国政府继信息高速公路（InformationHighway）计划之后在信息科学领域的又一重大举措。5定义•维基百科对大数据的定义:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。•Gartner公司将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”。•美国国家科学基金会（NSF）将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等各种数据源生成的大规模、多元化、复杂、长期的分布式数据集”。6十大战略技术•全球技术研究和咨询公司Gartner近日发布了2013年对众多公司和组织机构具有战略意义的十大技术与趋势。•Gartner将战略技术定义为将在未来三年对企业产生重大影响的技术。这些具有重大影响的因素包括使IT或业务中断的高潜在风险、主要投资需求，或是延迟采用的风险。7•战略技术可能是已经成熟的现有技术，和/或适合更广范围采用的技术，也有可能是能为早期采用者带来战略业务优势的新兴技术，或者有潜力在未来五年中对市场带来重大变革的新兴技术。因此，这些技术将对企业长期规划、项目和新方案的制定带来重大影响。82013年十大战略技术•移动设备战役•移动应用和HTML5•个人云•企业应用商店•物联网•混合IT和云计算•战略大数据•可行性分析•内存计算•整合的生态系统9技术时代沿革•大型机（60’s）→PC（80’s）→互联网（90’s）→社会网络Web2.0（00’s）→云计算/大数据/物联网（现在）。•学习曲线不连续（需要重新学习）10新兴IT应用特征•移动泛在性•虚拟性•个性化•社会性•极端数据（富媒体/大数据）11•麦肯锡几个研究团队曾研究过全世界产生、存储和消费的数据总量。尽管他们的估计数字以及由此产生的结果各不相同，所有研究都表明，未来数年会呈现指数增长。麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，同时，消费者在PC和笔记本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的4000多倍。事实上，我们如今产生如此多的数据，以至于根本不可能全部存储下来。例如，医疗卫生提供商会处理掉他们所产生的90%的数据（比如手术过程中产生的几乎所有实时视频图像）。12•BigData“大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革。对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。13•大数据时代网民和消费者的界限正在消弭；企业的疆界变得模糊；数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。大数据时代顺昌逆亡。如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸，其衰落不是管理能扭转的。14•云计算的核心是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供了保管、访问的场所和渠道。如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。15•企业内部的经营交易信息，物联网世界中商品、物流信息，互联网世界中人与人交互信息、位置信息等等是大数据的三个主要来源。其信息量远远超越了现有企业IT架构和基础设施的承载能力，其实时性要求则大大超越现有的计算能力。如果计划在大数据时代获益，必将引发新一轮的信息化投资和建设热潮。16•企业在大数据时代，面临文化、战略、组织、流程、信息化、公共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和飞跃契机。我们看好拥有大数据处理、挖掘技术的公司，看好拥有数据资产公司，看好拥有数据分析人才的公司17•从Ipad和微博中，我似乎看到了一点点未来……——默多克•微博最强大的力量来自于“小众的社会认同效应”。独立的网民因为某种兴趣、爱好、观点而集聚在一起，通过消息转发、评论的机制，广为扩散，其他网民迅速跟进，短时间内形成类似“飓风”的传播效应，从而形成广泛的社会影响力。18•微博颠覆了传统的信息传播路径，使几千年来，单中心、单向的传播方式，向多中心、网状裂变传播方式转变。对企业而言，不管是主动拥抱这个变化，还是被动接受，都宣告了一个时代的大幕真正开启，消费者站上了舞台中央。19•消费者是数字化的，他生活在网络中，他并不会直接告诉你他的需求，企业必须自己去收集、分析、跟踪、对比他在互联网上留下的各种“足迹”、评论、图片、视频等。谁首先在海量数据中沙里淘金，谁首先嫁接互联网基因，谁将在这轮技术变革中，脱颖而出。这就是大数据时代的核心命题！20•新浪微博截止到2011年第三季度已经拥有2.5亿注册用户，新浪市值一度达到94亿美元。微博上最具人气的明星姚晨拥有1400多万粉丝。超过前五名报纸发行量的总和。21•社会化的网络，为大数据提供了额外的价值维度。关系本身就是价值。一件商品，被笔者关注，和被姚晨关注，其效果完全不可同日而语。厂商可能会给姚晨付费，对于我最多只有一句“谢谢关注”而已。•酒类企业采用一种“盘中盘”的营销策略，就是主攻有社会地位人士，由他辐射其有“关系”的人，从而打开销路。这些人映射到微博空间，就是“意见领袖”、“草根大号”。22•社会化关系之于数据的价值，是乘数的关系。数据价值X社会化关系=微博影响力。借助微博的关系属性，流言更是飞速传播，真相也会加速浮出水面。23•用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是对包括用户网络操作的大数据进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预测。这是传统企业花费重金都难以企及的梦想，所有传统的产品公司都只能沦为这个新型用户平台级公司的附庸。24•大数据无疑是有价值的。但是挖掘大数据的价值类似沙里淘金。譬如视频监控，每天产生24小时的视频数据，绝大部分都没有利用价值。可能是几秒镜头捕捉到某罪犯体貌特征，对公安部门而言就是弥足珍贵的。为了这几秒钟，必须要保存全部的24小时。这也是大数据的一个典型特征。用术语来说，就是价值密度比较低。25•Google是大数据技术的奠基人，但是他停留在满足用户需求这一步，我们难以将谷歌和传统企业联系起来，因此还称不上对传统企业颠覆性的影响。•发展到Facebook时代，我们发现网民和消费者的界限正在消弭，借助社会化传播的影响，消费者获得空前的地位和关注。研究、利用消费者在网上的行为，对于传统制造企业而言，无疑具备了预测未来的能力。大数据恰恰是为传统企业嫁接了互联网基因，为互联网企业深度介入供应链打开了方便之门。26•前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。•谷歌是免费经济的最佳代表，对于个人用户而言，所有的应用都是免费的。Gmail、日历、照片、联系人、文档编辑等等，产品众多。27•谷歌如何盈利呢？答案在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息业免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。•这是正向的循环，谷歌好用的、免费的软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。28Facebook创造需求——微力改变世界•让这个世界上的人们自己组织起来，才是最重要的事情——马克·扎克伯格•智者的思想总是能穿越时空！托夫勒在《第三次浪潮》中的预言正在Facebook中成为现实。第三次浪潮的特征是小众、体验化，而非第二次浪潮（工业革命）以来的大众化、标准化。Facebook恰恰把“小众”们组织起来，借助“社会认同”效应，迅速放大他们的影响。甚至成为影响大选结果、影响组织决策的有力工具。具备了颠覆性的力量。29•为了对Facebook有直观的印象，我还是用一些数字描述这个帝国，名副其实的帝国。截止到2011年2月份，它拥有8亿用户，分布在除南极洲外的所有大陆，如果它是一个国家，仅次于中国、印度而位列第三大人口大国；3.5亿用户通过移动设备访问Facebook；平均每天上传2.5亿张照片。30•Facebook通过精心的控制与良好的用户体验，打造了一个实名帝国。用户在上面“生活”，产生大量的“内容”。因此Facebook不必像Google那样开发各种各样、丰富多彩的应用程序，而是吸引用户、第三方公司自主创造。31大数据赋予我们洞悉未来的能力•马云成功预测2008年经济危机，并帮助成千上万的中小制造商准备过冬的粮食。让马云赢得了崇高的声誉。•2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而有些企业提前半年时间从询盘上推断出世界贸易发生变化了。32•马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降33大数据四个主要特征•大数据有4个典型的特征。所谓的4个“V”，多样性(variety)、体量(volume)、速度(velocity)和价值（Value）。多样性是指，数据应包含结构化的和非结构化的数据。体量是指聚合在一起供分析的数据量必须是非常庞大的。而速度则是指数据处理的速度必须很快。34•多样性Variety:多源异构性：不同形式、无模式、不连贯语法或句义。•体量Volume:海量数据：比传统数据仓库增长速度快10-50倍。•价值密度Value:低价值密度：大量的不相关信息、需要深度分析。•速度Velocity:实时分析：而非批量分析、事后见效。35关键技术分析大数据价值的完整体现需要多种技术的协同。•云计算大数据的基础平台与支撑技术Google技术演化图36•大数据处理工具Hadoop是目前最为流行的大数据处理平台。Hadoop最先是DougCutting模仿GFSMapReduce实现的一个云计算开源平台，后贡献给Apache，Hadoop已经发展成为包括文件系统（HDFS）、数据库（HBase、Cassandra）、数据处理（MapReduce）等功能模块在内的完整生态系统（Ecosystem）。某种程度上可以说Hadoop已经成为大数据处理工具事实上的标准。37大数据时代面临的新挑战•大数据集成数据的广泛存在性使得数据越来越多地散布于不同的数据管理系统中，为了便于进行数据分析需要进行数据的集成，数据集成看起来并不是一个新