搜索
1第四专题大数据时代的机遇与挑战2导言大数据(Bigdata)是一个热门话题，也是一个重要的话题。2014年10月29日，国务院常务会议特别强调了要扩大移动互联网、物联网等信息消费，提升宽带速度，支持网购发展和农村电商配送。加快健康医疗、企业监管等大数据应用。2015年的《政府工作报告》也强调，要制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。3大数据时代的来临目录12大数据应用的领域3大数据时代的挑战第四专题44大数据时代的来临第一章大数据的概念大数据的特点总理的“大数据观”5最早提出“大数据时代”到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代的来临《纽约时报》2012年2月的一篇专栏中称“大数据时代”已经降临，在商业、经济及其他领域中决策将日益基于数据和分析而作出而并非基于经验和直觉。62012年3月奥巴马政府发布了“大数据研究和发展倡议”拟投资2亿美元启动“大数据发展计划”以期在科学研究、环境、生物医学等领域利用大数据技术进行突破。2012年5月联合国发表《大数据促发展挑战与机遇》政务白皮书，指出大数据对于世界各国是一个历史机遇，探讨如何利用包括社交网络在内的大数据资源造福人类。大数据时代的来临7如果个体的人拒绝大数据时代可能会失去生命；如果是一个国家拒绝大数据时代，可能意味着失去这个国家的未来失去一代人的未来。《大数据时代》作者舍恩伯格大数据时代的来临8视频：：大数据时代来临9“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVarietyValueVelocity大数据的特点10数据计量的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，它们按照进率1024（2的十次方）来计算，比如1ZB=1024EB。阿里集团透露，在阿里数据平台事业部的服务器上，攒下了超过100PB已处理过的数据，等于104857600个GB，相当于4万个西雅图中央图书馆，580亿本藏书。Volume大数据的特点11TBPBZBEB根据IDC监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。数据量增加12第二个特点是多元、多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。Variety大数据的特点13*社交网络…电子商务…移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。Apps淘宝微博大数据的特点14第三个特征是速度，增长速度特别快，处理速度也要求更快。以存储1PB的数据为例，即使带宽（网速）能达到1G/s，且电脑的容量足够且24小时运行，要将1PB的数据存入电脑也需要12天。大数据通过云计算，可以实现将12天才能存储完毕的数据在20分钟之内完成。Velocity大数据的特点15大数据能做一个预言家。谷歌和推特都曾用大数据，提前7天到一个月，在2009年准确预测当年的流感趋势。一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。大数据分析犹如“大海捞针”。Value大数据的特点16视频：一分钟看懂“大数据”17把执法权力关进“数据铁笼”，让失信市场行为无处遁形，权力运行处处留痕，为政府决策提供第一手科学依据，实现“人在干，云在算”。2015年2月14日，李克强在贵州考察北京·贵阳大数据应用展示中心，详细了解贵阳利用执法记录仪和大数据云平台监督执法权力情况。总理的“大数据观”18中外企业在电子商务、云计算、大数据和物联网这些领域都可以进行交流对话和合作。2014年11月20日，国务院总理李克强在杭州会见出席首届世界互联网大会的中外代表并同他们座谈。总理的“大数据观”19简政放权大数据云计算放管结合农业现代化城镇化新型工业化2014年7月25日，在山东浪潮集团考察时提出，“不管是推进政府的简政放权，放管结合，还是推进新型工业化、城镇化、农业现代化，都要依靠大数据、云计算，所以，它应该是大势所趋，是一个潮流”。这段讲话是李克强关于大数据在经济政策中发挥的作用所作的最明晰表述。推动依靠总理的“大数据观”20012014年7月23日企业信息监管022014年9月17日小微企业信息系统建设032014年10月29日健康医疗与企业监管042014年11月15日疾病防治、灾害预防、社会保障、电子政务052015年1月14日服务贸易062015年2月6日在线审批监管国务院常务会议6次提到“大数据”，涉及领域：总理的“大数据观”2121大数据应用的领域第二章22公共信息平台建设大数据的基础设施建设国家空间基础设施建设数字中国电子政务科学数据共享大数据的基础设施建设23云计算、物联网工程中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政绩工程居多，大数据作为核心内容端，使得政绩工程变为实用工程。24数博会大家说：马云马化腾说大数据视频：*大数据的应用通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景：消费行业金融服务教育医疗卫生政治军事交通环保文化信用26大数据的应用——精准营销一台冰箱利润仅38元。用大数据赚钱，只需在冰箱里加两个功能。一是增加信息扫描系统，二是把路由器装在冰箱里，将所有消费数据都发送到企业云数据库里。27华尔街“德温特资本市场”公司CEO保罗·霍廷每天的工作之一就是分析全球3.4亿微博账户的留言根据结果再决定如何处理手中的股票。他的判断原则很简单：所有人似乎都高兴就买入，如果大家的焦虑情绪上升，那就抛售。大数据的应用——金融投资28学习成绩入学率辍学率升学率识字的准确率作业的正确率课堂举手次数回答问题的次数回答问题的时长、正确率师生互动的时长与频率考试时答题的顺序平均每道题花费的时间学校教育中的“大数据”大数据的应用——教育领域29一个学生成绩差是因为周围环境造成的吗？师生每节课互动的时长与频率各为多少有助于学生吸收知识？期末考试不及格是否说明学生未掌握学习内容，还是因为他请了很多病假的缘故？入学成绩对升学率/辍学率有多大影响？……通过大数据分析可以得到解答以下问题：大数据的应用——教育领域30贫困生的评定工作大学生的综合评价工作家校沟通工作就业服务工作用大数据“管好”大学生：大数据的应用——教育领域31视频：大数据看清教育行业大趋势32IBM公司的Watson系统可以快速检索几百万名患者的病例、最新的医疗研究报告和成果，做出更快、更准确的诊断。IBM宣布投资1亿美元用于大数据研究大数据的应用——医疗领域332012年奥巴马的竞选团队对数以千万计的选民邮件进行数据挖掘，精确预测出更拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。大数据的应用——政治领域34芝麻信用是独立的第三方信用评估及信用管理机构，依据方方面面的信息，运用大数据及云计算技术客观呈现个人的信用状况，通过连接各种服务，让每个人都能体验信用所带来的价值。大数据的应用——信用领域35未来当用户的芝麻分达到一定数值，租车、住酒店时将有望不用再交押金，网购时可以先试后买，办理签证时不用再办存款证明，等等。大数据的应用——信用领域36知识的交流，E-mail、博客、微博、论坛、微信等网络平台已经成为日常交流的重要方式；知识的分享、交流和传递也更为迅速和便捷；知识的再生产，海量网络资源为人们的书写记录提供了重要平台。大数据的应用——文化领域3701环境的监测02传感器的安装04污染原因的分析05高污染、高能耗产业的转型03空气标准的设立空气质量整个治理链条都贯穿了数据智能电网、智能电表的使用和普及06大数据的应用——环保领域384月4日消息，一辆自动驾驶汽车刚刚完成了横跨美国之旅。人们可在家里通过手机APP或电话，找人上门来给车做保养；还可通过APP，查看爱车行驶轨迹，包括驾驶员的相貌特征、车内使用环境以及汽车行驶过程中的耗时、油耗、功率、行驶时间、里程等相关数据。大数据的应用——交通领域39视频：大数据的生活应用40视频：看大数据改变生活4141大数据时代的挑战第三章大数据技术应用的难题政府大数据的缺陷大数据专业人才的匮乏大数据时代隐私的保护42中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。431数据收集2数据存储3数据处理4结果的可视化呈现大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中：大数据技术运用的难题44大数据分析意义很大8075.943.6ABC中国青年报社会调查中心通过民意中国网和手机腾讯网对2315人进行的一项调查显示，43.6%的受访者认为，但80.0%的受访者也确认自己不清楚什么是“大数据”，75.9%的受访者发现目前存在“大数据”被滥用的现象。不清楚大数据大数据被滥用“大数据”被滥用45缺乏大数据思维部门数据信息割裂信息化建设过程中的“路径依赖”造成的“路径闭锁”政府大数据未能实现其应有的服务价值和人本关怀，受制于诸多因素。政府大数据的缺陷46我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。大数据的挖掘与利用应当有法可依。部门数据信息割裂47盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。大数据专业人才匮乏麦肯锡公司预测美国到2018年需要深度数据分析人才44万-49万，缺口14万-19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万。48大数据的挖掘与利用应当有法可依苹果承认向美国政府泄露用户数据既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。49视频：大数据时代：隐私何处藏身？50结语大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服