第九章：大数据与公共危机管理

公共危机管理第九章：大数据与公共危机管理课程要求：一、熟悉转型期中国公共危机管理的三个突出问题；二、掌握大数据与公共危机管理创新之间的关联；三、熟悉大数据的定义和四个特点，简单了解大数据带来的思维变革、应用场景；四、了解基于大数据的公共危机管理案例——3S社会情绪管理解决方案。9.1转型期公共危机管理的突出问题德国社会学家乌尔里希·贝克1986年在《风险社会》：随着现代化的推进、科技的发展及经济全球化进程的加速，人类进入了一个风险频发的风险社会。虽然风险古已有之，但现代风险具有整体性、不可感知性、不确定性、全球性、自反性等传统风险所不具备的特性，它从根本上改变了工业社会的运行逻辑、社会动力和基本结构。9.1转型期中国公共危机管理的突出问题（1）当代中国正处于社会转型和危机高发的风险社会阶段。经过30多年的高速发展，现阶段我国不仅受到环境与资源的巨大制约，而且还需在尽可能短的时间内完成发达国家相当长时期内完成的社会变迁和结构转型。快速转型会带来频繁的社会危机和剧烈的社会震荡。威廉和玛丽接受《权利法案》英王约翰签署《大宪章》英国新一届议会开幕时，英国女王主持议会开幕仪式9.1转型期公共危机管理的突出问题（2）我国正处于全球风险、社会转型风险混合叠加的高风险时期。由传统社会向现代社会转型，既存在机遇，也面临风险；经济全球化加速了全球信息与物质的流动，将我国裹入全球风险之中。9.1转型期公共危机管理的突出问题（3）集中资源的“拳头式”危机管理体制，问题和缺陷日渐显现。2003年以后，“一案三制”：统一领导、综合协调、分类管理、分级负责、属地管理为主理论预设是危机的“非常态”，将危机视为偶然事件，侧重于事后的应急处置，忽视前期预警和全流程监控脱胎于传统官僚体制的政府危机管理体系立足危机“已然存在”的假设之上，依靠权力分工、责任认定和制度化的应急手段予以消除。结论：随着风险社会的来临，风险来源不断增多，变异性、扩散性日益增强，仅对危机进行局部改良已难以从根本上解决问题。因此，必须引进新的技术与方法，创新公共危机管理，推进治理体系和治理能力的现代化。9.2大数据与公共危机管理创新大数据技术及管理模式的引入，能有效重塑公共危机管理的理念、体制和流程，提高危机管理的科学性和可预见性，促进现有结构性问题的解决。（1）重塑管理理念。风险社会的危机事件具有高度的复杂性、普遍性、衍生性和利益关联性。必须突破现有理念中“重应对、轻管理”的误区和“重权力、轻技术”的倾向，主动运用大数据的挖掘、分析、预测和流程整合能力，对危机生命周期的全程进行流程管理，实现从单一的事件应对向全流程管理的理念转变。（2）变革管理体制。现代公共危机具有很强的跨领域性、衍生性、危害的全社会性，在此背景下，现行体制纵向分工的惯性与现代危机管理横向整合要求之间存在严重的功能性冲突和结构性矛盾，一个部门负责一种危机的模式也已无法适应当代危机管理的需要。大数据技术及相关管理模式能为现有体制及专业分工所致的信息壁垒提供很好的解决方法，原因在于管理流程中产生的数据流，只遵循数据本身的性质和管理的要求，而不考虑专业分工区隔。（3）再造管理流程。即依据危机管理数据流的传播方向而非专业分工来构建和再造管理流程，使危机管理体制围绕数据流形成相应的机构、团队和人员，有效提高管理流程整体的运行效能。（4）构建数据分享系统，增强危机决策科学性。大数据技术获取的全样本数据，是现代公共危机管理的基础。在创新管理体制的过程中，有必要从国家层面打破部门垄断和专业区隔，构建政府内部无缝衔接的大数据危机管理系统，为联合开展危机管理提供共享的管理数据网络，实现以大数据分析为核心的公共危机科学决策。9.3大数据技术与应用何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（收录数据235TB）中国国家图书馆：2631万册1EB=4000倍美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲据估计,全球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,同时,消费者在PC和笔记本等设备上存储了超过6EB新数据7数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务什么是大数据？大数据的定义：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据带来的思维变革大数据带来的思维变革（更多）大数据带来的思维变革（更多）大数据带来的思维变革（更多）大数据带来的思维变革（更多）大数据带来的思维变革（更杂）−IBM的机器翻译VSGoogle的机器翻译；−大数据时代要求我们重新审视数据精确性的优略；−大数据不仅让我们不再期待精确性，也让我们无法实现精确性；−错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；大数据带来的思维变革（更好）佛教《三世因果经》主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；大数据的4V特征Volume•非结构化数据的超大规模和增长•总数据量的80~90%•比结构化数据增长快10倍到50倍•是传统数据仓库的10倍到50倍Value•大量的不相关信息•对未来趋势与模式的可预测分析•深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity•实时分析而非批量式分析•数据输入、处理与丢弃•立竿见影而非事后见效Variety•大数据的异构和多样性•很多不同形式（文本、图像、视频、机器数据）•无模式或者模式不明显•不连贯的语法或句义BigData大数据TBPBEBStreamsRealtimeNeartimeBatchStructuredUnstructuredSemi-structuredAlltheabove大数据的4V特征（Volume）1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和大数据的4V特征（Velocity）•实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；•1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；大数据的4V特征（Variety）大数据的4V特征（Value）•挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；•价值密度低，是大数据的一个典型特征；大数据不仅仅是技术，关键是产生价值可以从各个层面进行优化，更要考虑整体行业数据处理方式价值银行/金融•贷款、保险、发卡等多业务线数据集成分析、市场评估•新产品风险评估•股票等投资组合趋势分析•增加市场份额•提升客户忠诚度•提高整体收入•降低金融风险医疗•共享电子病历及医疗记录，帮助快速诊断•穿戴式设备远程医疗•改善诊疗质量•加快诊疗速度制造/高科技•产品故障、失效综合分析•专利记录检索•智能设备全球定位，位置服务•优化产品设计、制造•降低保修成本•加快问题解决能源•勘探、钻井等传感器阵列数据集中分析•降低工程事故风险•优化勘探过程互联网/Web2.0•在线广告投放•商品评分、排名•社交网络自动匹配•搜索结果优化•提升网络用户忠诚度•改善社交网络体验•向目标用户提供有针对性的商品与服务政府/公用事业•智能城市信息网络集成•天气、地理、水电煤等公共数据收集、研究•公共安全信息集中处理、智能分析•更好地对外提供公共服务•舆情分析•准确预判安全威胁媒体/娱乐•收视率统计、热点信息统计、分析•创造更多联合、交叉销售商机•准确评估广告效用零售•基于用户位置信息的精确促销•社交网络购买行为分析•促进客户购买热情•顺应客户购买行为习惯13大数据商业价值大数据改变生活31。•各级政府、主管部门、上市公司、企业集团、外资公司都将基于大数据分析平台优化其决策。优化•大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。革命•银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务颠覆•因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。改变大数据对政府、金融机构、企业来说，象空气一样不可或缺！大数据商业价值---大数据为“未来的新石油”322013年，世界上存储的数据预计能达到约1.2泽（约12亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据商业价值---企业经营决策33某商店卖牛奶，通过数据分析，知道在本店买了牛奶的顾客以后常常会再去另一店买包子，人数还不少，那么这家店就可以考虑与包子店合作，或直接在店里出售包子。大数据商业价值---个性化营销34银行与客户的交流渠道进行了整合，只要某个客户在网上点击查询了有关房贷利率的信息，系统就会提示呼叫中心在电话交流时推荐房贷产品，如果发现顾客确实对此感兴趣，销售部门就会发送推介信息给客户，如果这位顾客到银行网点办事，业务人员就会详细介绍房贷产品，开始只有少量的线索，但通过多渠道的与顾客交互接触，在这个过程中，令顾客体验了银行精准、体贴的服务，其结果是营业收入大为增加，成本大幅降低，商品零售大数据35此事经被《纽约时报》报道后，塔吉特“大数据”的巨大威力轰动全美在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。消费大数据36亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际