大数据的时代背景

数据仓库与数据挖掘济南大学管理学院蔡永明本节内容“大数据”对社会发展的影响32商务智能与数据挖掘33“大数据”的时代背景31济南大学管理学院蔡永明产业界与学术界的关注2012年最热科技词汇：大数据（Bigdata）《纽约时报》《华尔街日报》的专栏封面《求是》杂志刊登长文：大数据时代的机遇与挑战2012年中国管理科学与工程年会主题：应对多质大数据的挑战济南大学管理学院蔡永明产业界与学术界的关注大事件预测奥斯卡金像奖预测：微软纽约研究院的经济学家大卫·罗斯柴尔德（DavidRothschild）2013年，成功预测24个奥斯卡奖项中的19个。2014年，成功预测24个奖项中的21个。统计学家NateSilver的模型预测：奥巴马有超过80％的机会赢得大选（后来模型提升到90.9%）济南大学管理学院蔡永明产业界与学术界的关注2011年2月11日出版的《科学》杂志刊登专题——《数据处理》2008年9月3日出版的《自然》杂志刊登专题——《大数据》《自然》《科学》大数据专刊济南大学管理学院蔡永明产业界与学术界的关注麦肯锡咨询公司“大数据”研究报告“Bigdata:Thenextfrontierforinnovation,competition,andproductivity”—McKinseyGlobalInstitute,May2011.6高德纳（Gartner）研究与顾问咨询公司济南大学管理学院蔡永明产业界与学术界的关注Dataarebecomingthenewrawmaterialofbusiness:aneconomicinputalmostonaparwithcapitalandlabor.数据正逐渐变成商业所需的原材料之一：一项几乎和资本或劳力一样重要的经济原料。（Feb.27th,2010）7济南大学管理学院蔡永明产业界与学术界的关注20世纪大萧条以来，美国作为世界强国的开放历史，数据技术浪潮的兴起过程，气势磅礴，波澜壮阔。美国政府为什么能，中国到底缺什么？“大数据”之“大”，并不仅仅在于“容量之大”，更大的意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。82012-7济南大学管理学院蔡永明产业界与学术界的关注爆发：大数据时代预见未来的新思维。巴拉巴西的研究是在人类生活数字化的大数据时代基础上进行的，移动电话、网络以及电子邮件使人类行为变得更加容易量化，将我们的社会变成了一个巨大的数据库。巴拉巴西揭开人类行为背后隐藏的模式“爆发”，提出人类日常行为模式不是随机的，而是具有“爆发性”的。92012-6济南大学管理学院蔡永明K—M—G—T—P—E—Z—YKKilo1K字节=1,024字节MMeg1M字节=1,048,576字节GGiga1G字节=1,073,741,824字节TTera1T字节=1,099,511,627,776字节PPeta1P字节=1,125,899,906,842,624字节EExa1E字节=1,152,921,504,606,846,976字节ZZetta1Z字节=1,180,591,620,717,411,303,424字节YYotta1Y字节=1208,925,819,614,629,174,706,176字节容量单位:从K到Y大数据现象10济南大学管理学院蔡永明大数据现象AnEverestSizedOpportunity！11济南大学管理学院蔡永明12无所不在的数据（1）国家(省、市)统计局（）•70万家企业联网“直报”统计数据•从2012年2月18日开始，全国70万家三上企业和房地产开发经营企业将在统一的数据采集和处理平台上，通过互联网直接向国家数据中心或国家认定的省级数据中心报送统计数据。济南大学管理学院蔡永明13无所不在的数据（2）金融数据（）金融高频数据：金融市场中的逐笔交易数据和逐秒交易数据。济南大学管理学院蔡永明14无所不在的数据（3）在超市中，数据通过条码扫描机获得。这样的“购物蓝”数据库由大量的交易记录组成。RFID技术与物联网应用济南大学管理学院蔡永明15无所不在的数据（4）到2020年，北斗卫星导航系统将拥有35颗卫星（已发射15颗），形成覆盖全球的卫星网络。全球四大卫星导航系统北斗卫星导航系统美国的GPS俄罗斯的格洛纳斯欧盟的伽利略系统济南大学管理学院蔡永明16无所不在的数据（5）生物信息学（人类基因组计划）来自全球27个族群的2500个人的全部基因组信息，产生的数据量已达到50TB神经信息学（人类脑计划）济南大学管理学院蔡永明17无所不在的数据（6）济南大学管理学院蔡永明无所不在的数据（7）18•智慧城市济南大学管理学院蔡永明新信息世界观：物理世界、信息世界、人类社会组成三元世界19大数据李国杰院士济南大学管理学院蔡永明“大数据”对社会发展的影响科学研究第四种范式公共管理智慧城市工业生产与商业经营商务智能与数据20济南大学管理学院蔡永明第四种范式观察与经验描述与实验、理论建模、仿真与计算等科研模式之后，当代又出现了数据密集型的科研范式。微软公司于2009年10月发布了《TheFourthParadigm:Data-IntensiveScientific》，首次全面地描述了快速兴起的数据密集型科学研究。“TheNextScienceRevolution”，HarvardBusinessReview，November201021济南大学管理学院蔡永明22济南大学管理学院蔡永明商务智能与数据解析学目前决策制定者正在被大量的数据淹没，数字信息从各种各样的传感器、工具和模拟实验那里源源不断地涌来，令企业的组织能力、分析能力和储存信息的能力捉襟见肘。正如麦肯锡的报告揭示的那样，管理作为科学的一个特性正在越来越凸现出来。23济南大学管理学院蔡永明决策需要信息与知识情报阶段：确定问题设计阶段：找出解决方案选择阶段：选出解决方案实施阶段：实施方案返回情报阶段返回设计阶段返回选择阶段西蒙——决策过程的四个阶段决策的过程发现那些需要引起注意的征兆并加以解释,例如销售滑坡、生产成本猛涨、老顾客对新产品的需求、新竞争对手带来的威胁等。最优方案由多种因素决定，如成本、实施的难易程度、对员工的要求、方案实施的时间顺序等。执行选中的方案，检测实施的结果，并作出必要的调整。24济南大学管理学院蔡永明三类智能的融合25人的智能商业（业务）智能机器智能济南大学管理学院蔡永明当前大数据领域中的重点投资方向数据、分析、服务、平台、企业、应用济南大学管理学院蔡永明当前大数据领域中的重点投资方向数据、分析、服务、平台、企业、应用济南大学管理学院蔡永明当前大数据领域中的重点投资方向数据、分析、服务、平台、企业、应用济南大学管理学院蔡永明大数据泡沫2013夏季达沃斯开辟专场:“大数据概念是否被过度炒作”四位嘉宾分成正反两方，展开一场激辩。是四位嘉宾中更年轻、更接近“技术宅男”的两位，持正方观点，其中一位是美国Kaggle公司总裁兼首席科学家JeremyHoward，另一位是加纳MPedigree网络公司总裁BrightSimons认为：“大数据已被过度炒作”。北京大学光华管理学院新媒体营销研究中心副主任苏萌，另一位是日本政治家、内阁成员，曾是摇滚音乐人的山本一太，为大技术时代的到来欢呼。济南大学管理学院蔡永明大数据泡沫首先，我们真需要这么多数据吗？美国Kaggle公司总裁兼首席科学家JermyHoward认为，人类所需要的关系并不复杂，太多大数据分解了人们的注意力。“搜集这么庞杂的数据要花费很多时间，处理数据也是。最好的方式是只提取最重要的数据，不该把时间浪费在无关数据的搜集和处理上。”加纳MPedigree网络公司总裁BrightSi-mons也认为，大数据面临着集中化的危险，对于人们而言，更重要的是“洞察”能力，是个人的自主性，从繁杂的大数据中挑选出有用的部分。济南大学管理学院蔡永明大数据泡沫第二个问题：个人隐私怎么办？在超市购物时，你的会员卡会记录你的消费信息，相关商品的打折促销活动会不定时发送到你的手机。上网时你的cookie信息被读取，如果一年前你在电商网站里浏览了一张沙发，直到现在很多网页上都会自动弹出沙发的广告和促销信息，不管你需不需要。你在微博、人人等社交网站上发了一条“写论文好辛苦”的状态，结果每天都有无数的论文代写机构找上门来。我们的个人信息被各种数据供应商收集，成了数据产业链上无偿的原料。更令人担心的是，在网上任何设置了隐私屏障的信息在技术上都是可以被获取的。大数据时代，我们没有隐私，没有秘密。济南大学管理学院蔡永明大数据泡沫第三点质疑：如何保证数据安全？只要以数据形态存在，就天生带有安全隐患。数据库可能被盗、被黑、被扭曲、被替换。网上订了一份鸡肉饭送来了鱼丸粗面都是小事，结婚纪念日送太太的鲜花被写上了别人的名字就可能引发一场血案……而涉及到国家安全的信息，更是十分敏感。一旦数据安全受到危险，大数据会产生大隐患。几年前爱沙尼亚遭到黑客攻击，由于该国政府部门和私营部门的数据集中存放，网络攻击导致该国几乎全面瘫痪，济南大学管理学院蔡永明大数据泡沫从投资方向上看：国内与国外在基础设施方面1:18的差距无疑暴露了国内企业在基础设施领域的短板。从技术上看：信息的存储、接口设计、加速计算等基础设施类的业务非硬技术不能支撑，相对来说，垂直应用类的产品，一个成熟的工程开发团队能够快速复制成功案例；从时间上看：国外大数据的基础设施建设并非一开始就出现，也是经过长期的应用产品的积累期，需要有技术和理念的成长。因此，国内创业公司的这种落后是成长的必经之路。