大数据与安全生产综述

大数据与安全生产综述张瑞新博士、教授国家安全监管总局通信信息中心主任国家安全监管总局信息办副主任2015年5月12日2014年12月12日，总局党组书记、局长杨栋梁主持召开党组（扩大）会议，提出“建立安全生产统一数据库，实现‘来源可查、去向可追、责任可究、规律可循’”。贯彻落实总局栋梁局长的指示2015年4月2日，国务院办公厅印发《关于加强安全生产监管执法的通知》（国办发〔2015〕20号）。要大力提升安全生产“大数据”利用能力，加强安全生产周期性、关联性等特征分析，做到检索查询即时便捷、归纳分析系统科学，实现来源可查、去向可追、责任可究、规律可循。贯彻落实国办20号文件精神云计算移动互联网智慧城市大数据物联网社交网络社会管理大数据时代已经到来社会治理行为方式生活方式企业经营工作方式思维方式互联网思维、大数据等信息技术正在改变……安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1云计算、移动互联网、物联网、社交网络、电子商务、即时通信等技术形式的涌现，推动人类从现实社会快速切换到网络社会形态，形成了人类不同于传统生活方式的虚拟生活方式。（一）信息时代的特征学习交流娱乐看报购物理财现实世界真实生活移动互联网社交网络社交网络网上教学门户网站网游网上购物互联网金融网络社会虚拟生活三、大数据时代（一）信息时代特征＝２Byte(字节)1PB=1024T一年国产电视剧（1.7万部）容量1EB=1024PB；5EB相当于至今全世界人类所讲过的话语1ZB=1024EB；全世界海滩上的沙子数量总和1TB=1024G一家大型医院X光图片1GB=1024M一部广播级电影1MB=1024K50万个汉字1KB=1024B500个汉字Megabyte(MB)Kilobyte(KB)Gigabyte(GB)Terabyte(TB)Petabyte(PB)三、大数据应用（二）数据的概念上传30小时视频130万人评论200万条搜索27.7万人登录600万条信息发布2.04亿封邮件全球产生7.5PB数据互联网上一分钟三、大数据应用（二）数据的概念（三）互联网、互联网+新的媒体形式的出现起源上世纪90年代中后期应用领域邮件、门户网站、电子商务政府、企业大规模信息化建设新的商业模式的出现互联网开始颠覆传统产业之旅互联网+让传统行业插上互联网的翅膀！互联网可以+？工业金融交通政务农业教育医疗民生互联网正在改变物质之上的所有组织形态、改变物质生产的组织方式。信息技术不是在融合，而是在融化、重构和颠覆其他产业形态。（三）互联网、互联网+传统模式：每个业务需要配备独立的设备（服务器、存储等）计算资源难以共享、孤岛现象、资源浪费办公人事财务网站虚拟机虚拟机虚拟机虚拟机云计算模式：•把计算资源合并成一个大的计算资源池（云计算中心）•云计算中心根据各个业务需要，提供相应的计算能力（四）云计算、云服务云计算的目标是让用户像用电、用水一样使用信息基础设施各自配备小发电机电厂集中发电云计算的本质是把计算能力的专用服务变为了公用服务电网集中供电（四）云计算、云服务虚拟化–“一拆多”分布式–“多合一”虚拟拆分物理计算机虚拟机虚拟整合物理计算机虚拟机（四）云计算、云服务（五）物联网物联网(TheInternetofthings)的概念是在1999年提出的，又名传感网，物物相连的互联网。把所有物品通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备与互联网连接起来，进行信息交换和通讯，实现智能化识别、定位、跟踪、监控和管理。国际电信联盟曾描绘“物联网”时代的图景：当司机出现操作失误时汽车会自动报警；公文包会提醒主人忘带了什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等。人类的网络社会行为，包括聊天、购物、搜索、点赞等，产生了诸如日志、图片、音频、视频等规模巨大、类型多样的存贮在各类介质上的数据。人类由此进入大数据时代！（六）大数据单日信息产生量超过50TB,存储量40PB淘宝国家电网到2012年10月资讯系统累计产生大资料2PB第一医院所存资讯2008年130TB,预计2015年1PB高峰期每秒100万次回应请求联通用户上网记录83万条/秒，对应信息量3.6PB/年每天产生信息超过10TB，现已存20PB，预计该基因库最终将达1EB每天1千亿次服务调用、55万亿次计算、300TB存储量公交一卡通每天刷卡4000万次地铁1000万次每秒产生2千元的交易额，累计各种信息达到PB中山大学新浪微博华大基因每天约处理60亿次搜索请求几十PB数据百度腾讯交通银行北京公交每日约处理600G数据。存量信息超过70TB京东商城农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB三、大数据应用（六）大数据综合门户新闻门户交友社区娱乐网站音乐网站体育网站网上购物旅行网站网上招聘网络游戏……新闻评论博客博文讨论话题音视点播网购记录网上简历…...交互信息痕迹信息行为分析全民记录记录全民（六）大数据大数据技术：在海量、无序的数据中洞察规律，发现价值！数据的价值不在于数据本身在于数据之间的关联关系大数据将成为国家竞争力的重要标志，与矿产、土地、石油一样成为国家的基础性战略资产。提高国家治理体系和治理能力现代化要靠大数据。（六）大数据安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1*（一）大数据概念溯源年，MetaGroup（Gartner的前身）指出，随着网络及其应用（电子商务等）发展，数据将呈现出爆炸式增长的趋势，并提出3DDataManagement的技术预测，即DataVolume、DataVelocity和DataVariety2012年，Gartner的IT技术发展趋势战略报告指出：大数据正在逼近“TippingPoint”（爆发点），40%以上的企业开始大数据方面的投资。*（一）大数据概念溯源2008年9月4日《自然》（Nature）刊登了一个名为“BigData”的专辑，从互联网技术、网络经济学、生物医药等多个方面探讨了大数据的挑战与机遇2009年7月O’ReillyMedia出版了名为“BeautifulData”，介绍大数据相关的技术2009年10月微软为纪念JimGray,出版了“第四范式—数据密集的科学发现”，认为科学研究范式的发展“理论科学实验科学计算机仿真数据科学”2011年2月11日：Science刊登了一个名为“DealingwithData”的专辑，联合Science:Signaling、Science:TranslationalMedicine和ScienceCareers推出相关专题，讨论数据对科学研究的重要性2012年4月，欧洲信息学与数学协会会刊ERCIMNews出版专刊“BigData”讨论了数据管理、数据密集型研究等问题*facebook社交网络…淘宝、ebay电子商务…微博、Apps移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。（二）大数据概述GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！随着信息不断膨胀与爆炸，已经积累到了引发变革的程度。更多的信息增长速度也在指数级加快。1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB（二）大数据概述大数据无法在容许的时间内，用常规软件工具对其内容进行抓取、管理和处理的数据集合；大数据规模的标准是持续变化的；大数据当前泛指单一数据集的大小在几十TB和数PB之间---维基百科定义三、大数据应用（二）大数据概述2008年9月美国《自然》杂志刊登了一个名为“BigData”的专辑，首次提出大数据（BigData）概念。大数据，或称巨量资料，是指由数量巨大、结构复杂、类型众多的数据所构成的数据集合，必须通过特殊化处理分析才能形成有规律、可预测的信息服务能力。（二）大数据概述（二）大数据概述4V特征数据类型繁多VarietyV数据体量巨大VolumeV处理速度快VelocityV价值密度低Valuev数据存储量大、计算量大（Volume）预计到2020年，中国产生的数据总量将是8.5ZB，全球的数据总量预计将达到40ZB。若以光盘存储，其总重量相当于424艘满载的尼米兹航空母舰。2020年35ZB光盘重量=43,078,400吨424艘尼米兹号航母重量(101,600吨)数据来源多、格式多（Variety）大数据类型分为结构化数据和非结构化数据，结构化数据是指用数据或统一的结构加以表示，如数字、符号；非结构化数据是指无法用数字或统一的结构表示，如文本、图像、声音、网页、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。大数据的来源互联网快速发展，社交网络成熟移动终端普及物联网、传感器、监控设备云计算……主要三类：人和人之间、人和物（机器）之间、物和物之间数据量骤增，数据来源多样。主动、被动和自动方式产生数据，数据产生方式的巨大变化导致大数据的产生。移动互联网智慧城市物联网电子商务…社交网络iPhoneiPadNoteBookPC条码RFID视频采集设备GPS终端二维码淘宝微博百度腾讯华大基因国家电网联通北京公交价值密度低(Value)浪里淘沙又弥足珍贵。一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。监控卡口1监控卡口2监控卡口3监控卡口41亿/天车行轨迹2300万车辆信息9000千万人口3000万驾驶员卡口信息：牌号：鲁F123****车型：解放j6p颜色：蓝色位置：济南经十山大路口方向：自西向东时间：2013.2.58:45:30山东省17地市交通卡口每天采集行车记录数将近1亿条根据牌号比对一天的车辆行驶信息，耗时30分钟，查出4000多辆嫌疑车辆监控卡口...套牌车查找-大数据的分析计算车牌号车型颜色距离...卡口信息卡口信息卡口信息卡口信息卡口信息数据调取数据调取计算结果数据增长、处理速度快Volecity利用各种大数据分析工具，比如Hadoop、SPSS和R，可从各种类型的数据中快速获得高价值的信息，这一点和传统的数据分析技术有着本质的区别。（二）大数据概述大数据正在改变人类的思维方式？随机样本精确求解因果关系全体数据近似求解关联关系传统思维大数据思维（三）大数据国内外应用现状1.国外现状2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。案例1：美国治理警察超速行驶大数据应用美国佛罗里达州为了治理警察超速行驶问题，通过对不同高速口收费站的原始数据记录（约为110万条）的比对挖掘分析，得到了一个惊人的结果：当地的3900辆警车在13个月的时间里共发生了5100多次的超速行驶记录。通过进一步的筛选分析发现，警车超速行驶的时间竟然大部分都发生在上下班时间。通过对海量数据的分析处理可以得出