大数据云时代的公安信息化应用与实践

大数据云时代的公安信息化应用与实践目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录•1Byte=8Bit•1KB=1,024Bytes•1MB=1,024KB=1,048,576Bytes•1GB=1,024MB=1,048,576KB=1,073,741,824Bytes•1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes•1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes•1EB=1,024PB=1,152,921,504,606,846,976Bytes•1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes•1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes何为大？——数据度量•《红楼梦》含标点87万字（不含标点853509字）•每个汉字占两个字节：1汉字=16bit=2*8位=2bytes•1GB约等于671部红楼梦•1TB约等于631,903部•1PB约等于647,068,911部•美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）•1EB=4000倍美国国会图书馆存储的信息量何为大？——数据示例facebook社交网络…淘宝、ebuy电子商务…微博、Apps移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景大数据时代的背景•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网迎接大数据时代的到来迎接大数据时代的到来迎接大数据时代的到来•每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理；•每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的总量；•每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高；•每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；•每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；•谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模；•百度每天的关键词搜索量50亿，谷歌33.3亿；•淘宝天猫双11那一天营业额达191亿人民币。中国小商品城全年成交额才580.03亿元人民币；•累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。•……未来：物联网每天产生的数据将会是海量的。一天之间，互联网上要发生多少事迎接大数据时代的到来一天之间，互联网要发生多少事GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB=2^50字节1EB=2^60字节1ZB=2^70字节数据时代的爆炸增长大数据=海量数据+复杂类型的数据大数据包括：交易数据和交互数据集在内的所有数据集海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。大数据的构成1.Volume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，对处理能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合数据量巨大全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量什么是大数据“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety迎接大数据的4V特性目录什么是大数据二什么是云计算三前言一变革四面临的机遇与挑战五汇报目录什么是云计算？云计算是一种新型的IT计算、服务方式，通过网络提供可伸缩、廉价的分布式计算能力。云计算将共享的软硬件资源和信息按需提供给计算机和其他设备，有利于计算资源的合理配置，提高其利用率，促进节能减排，实现绿色计算。什么是云计算23云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算特点24(1)超大规模“云”具有相当的规模，Google云计算已经拥有100多万台服务器，Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。(2)虚拟化云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(3)高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4)通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行七大特点25七大特点(5)高可扩展性“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。(6)按需服务“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。(7)极其廉价由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。七大特点26云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网格计算和云计算。电厂模式阶段：电厂模式就好比是利用电厂的规模效应，来降低电力的价格，并让用户使用起来更方便，且无需维护和购买任何发电设备。效用计算阶段：1961年，人工智能之父麦肯锡在一次会议上提出了“效用计算”这个概念，其核心借鉴了电厂模式，具体目标是整合分散在各地的服务器、存储系统以及应用程序来共享给多个用户，让用户能够像把灯泡插入灯座一样来使用计算机资源，并且根据其所使用的量来付费。但由于当时整个IT产业还处于发展初期，很多强大的技术还未诞生，比如互联网等，所以虽然这个想法一直为人称道，但是总体而言“叫好不叫座”。云计算的演化27网格计算阶段：网格计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多低性能的计算机来处理，最后把这些计算结果综合起来攻克大问题。但是由于网格计算在商业模式、技术和安全性方面的不足，使得其并没有在工程界和商业界取得预期的成功。云计算阶段：云计算的核心与效用计算和网格计算非常类似，也是希望IT技术能像使用电力那样方便，并且成本低廉。但与效用计算和网格计算不同的是，2014年在需求方面已经有了一定的规模，同时在技术方面也已经基本成熟了。云计算的演化28IaaS(Infrastructure-as-a-Service)：基础设施即服务消费者通过Internet可以从完善的计算机基础设施获得服务。例如：硬件服务器租用。PaaS：平台即服务PaaS(Platform-as-a-Service)：平台即服务PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。例如：软件的个性化定制开发。SaaS(Software-as-a-Service)：软件即服务它是一种通过Internet提供软件的模式，用户无需购买软件，而