XXXX06电子政务云计算大数据2

大数据给我们带来了什么——电子政务的视角国家信息中心宁家骏2013年5月前言大数据、云计算的兴起，已经引起了社会各界的广泛关注。人们从各种不同的视角，对于这场大变革进行着思考和议论。有的人从企业和经营的角度看到了机遇，有的人从政策和治理的角度看到了希望。作为从事电子政务的人员，在这里仅就这种发展对于电子政务的影响谈一点意见。目录一、电子政务的发展趋势二、大数据带来的机遇三、大数据与云计算四、我们今天需要怎样的电子政务云和大数据应用4电子政务的战略定位电子政务的性质：技术应用VS变革转型办公自动化VS业务联动和整合网络建设VS信息资源共享电子政务的战略地位：促进政府职能转变的助推力造就高效、透明、廉洁政府的赋能器不是仅限技术应用，需要其他改革措施同步推进5电子政务进展显著大多数政府机构的核心业务已完成不同程度的信息化.网络化公共服务的提供已在不同深度上普及.部委、省级、地级和县级政府网站的拥有率分别为96%、100%、98.5%和83%.金关、金税、金盾、金审、金信、金水、金农、金保等一批重大电子政务工程发挥重要作用电子政务总体架构开始构筑,为今后共享,联动奠定基础6信息化提升城市公共服务和管理水平各级政府门户网站群，已成为政务公开、行政办事、投诉咨询、便民服务的主渠道之一。网站群点击数呈现海量增长态势众多政府部门职能、行政许可等10类信息实现了100％在网上公开多项行政办事事项中，除涉密事项外，办事指南在线提供，业务表格能在线下载，提供了多项能提供申报、状态查询、结果公示等环节的在线服务7信息化提升城市公共服务和管理水平各级政府建成的多个信息系统，覆盖了宏观决策、经济调控、市场监管、公共服务、城市管理等政府管理和决策的主要领域，基本覆盖了政府核心业务实时信息接入了领导桌面，应急指挥实现联动，城市管理实现了网格化和可视化问题和挑战与政府职能转变的融合度不够,电子政务战略意义未突现业务联动,资源整合难度大,影响效能发挥部门管理功能强化,公共服务功能相对薄弱推进信息化的传统路径在那里8电子政务面临挑战--、社会形态的改变、社会管理创新网络社会带来的变迁如社交网络给当前社会管理带来了全新的挑战。需要政府提供创新服务。当前社会机构更加网状结构发展社会结构变化更加需要政府协同工作社会发展更加需要政府各部门、各层级协同工作。协同公文计划会议日程表单公共信息综合办公视频会议IM程序共享IP电话短信SNS论坛微博WikiE-Learning博客KMRSS财务SRMHRCRM进销存SCM行业软件个人工作信息部门级工作信息企业级工作信息企业间工作信息组织内部的工作协同与业务协作平台跨部门、跨地区的业务协同平台网络通讯平台：移动协同与UC协同引领潮流电子政务通过协同促进社会创造价值--云服务的新兴机会-工作协同云从协同向协同“云”决策C-Level管理M-Level服务Employee政务工作的效率和协作决定了政府形象和效率以及社会的进步电子政务促进信息资源共享开发和政务协同才能创造价值结论：对于政务决策、管理和服务的关键业务离不开协同所依托的信息支撑80%的工作时间在于协作、沟通和掌握信息20%的时间用于依托有效信息用于决策、管理和从事服务信息协同对于能否提升工作效率和效能至关重要政府服务对象政府工作电子政务深化的难点和对策1314普遍存在的难点人的因素：观念、激励、技能、文化政府职能整体转变的协调多部门项目的资金和实施管理网络安全忧患,影响公众的信任、信心15普遍存在的难点政务业务所需要的信息支撑水平不高、能力不强。特别是跨部门、跨层级的信息共享水平极度缺乏政务信息资源重复开发、利用效率低，开发缺乏成本控制政府信息资源缺乏整合，难以进行效益评估16如何解难？要有一套科学的总体框架有力的实施机制!要有先进的理论和方法—包括云计算和大数据理论与应用电子政务信息整合共享的基本方法科学发展、为民服务是现代政务的主题。政府决策、管理和服务离不开如下两种基本的思路——逻辑推理：即根据以往得出的若干“基本原则”，按照逻辑方法推演出现实世界的运行规则和演变规律。——归纳：即根据现实世界提供的数据或案例，进行汇总和综合，从而得出现实世界的运行规则和演变规律。各自的软肋对于逻辑推理来说，最致命的问题是：你怎么能够证明你的出发点，即那些决策包括所制定的政策、法规是可靠的？对于综合归纳来说，最致命的问题是：你怎么能够肯定下一个案例，还会符合你归纳出来的“基本原则”？19下一步的趋势展望?融合创新20电子政府发展阶段基础建设：接入、联网基本、附加、孤立融入IT的新型治理和服务现有流程电子化转型创新流程和组织转型新型政府基本在线服务21电子政府发展的新阶段转型创新阶段（t-Government)业务上网由重数量转向质量，以效益为中心，使用户真正得益首先，实现基于现有流程的、跨部门后台整合然后，实现基本流程的重构，机构转型创新评估指标：高效益、高效率22电子政务深化的驱动力电子政务与行政体制改革的融合和互动电子政务以公共服务为重点,支持服务型政府电子政务以业务联动为方向,支持精细化管理形成跨部门,跨地区信息系统互操作和资源共享的长效机制电子政务受益面的扩展23对”融合”的理解“融合”既是公共管理的高级阶段,也是信息化的高级阶段,有别于传统政府管理,也有别于一般意义的电子政务;主要区别反映在由信息化支撑的(催生的)新型公共管理和服务模式成为常态,实现向服务型政府的战略转型,形成新的公共治理格局2324信息化与政府转型战略目标融合要成常态!要学会在信息化时代下治国理政!建设会做事的信息化政府!其中关键离不开信息支撑能力和水平P25对”创新”的理解从信息化与政府业务、服务、机制融合的角度，从信息供给贺支撑能力的角度,推进政府转型，催生新的服务和管理模式通过信息技术与服务管理功能、流程的深度渗透融合，产生新的政府服务和管理形态从信息支撑能力和水平，促进政府决策字、管理和服务水平的提升，促进社会的运行方式、工作方式、生活方式、组织形态和行为等发生重大转型P26“创新”服务型政府的关键以大系统概念.简化和优化政府办事流程以服务对象为目标,实现信息共享和跨部门协同以新技术架构,通过推进应用深化、资源整合，促进决策科学、管理精准、服务到位P27“创新”服务型电子政府新模式方向着力改进以公众为中心的网上服务切实促进政府向主动型服务转变切实推进面向基层的社区一站式综合服务着力推进公务员网上办公和互动P28服务型政府方向离不开网络办公离不开一站式网上服务离不开信息资源汇聚、统一、整合与共享信息网上公开公共信息发布系统网络办事大厅网上政民互动网上咨询/网上调查/网上交流网上评议/网上投诉/网上信访网上问政——新兴网络民主形式P29切实推进资源整合资源整合的本质是信息整合统一网络平台电子政务内网、外网统一数据平台数据中心（大集中数据库、交换共享平台、信息资源目录、标准等）统一服务渠道和手段政务服务中心、政府服务热线、街道社区服务中心、档案服务中心、市民电子邮箱、社会保障卡、公共服务终端实现一站办理、一网连通、一号服务、一卡通行P30加强政府服务资源梳理，不断提升信息公开的规范性加强公共事业单位服务资源整合，拓展服务覆盖范围加强公众需求分析，提升网上服务的人性化水平加强公众参与，促进网上互动规范化、日常化加强推广宣传，大力提升政府网站的社会认知度信息共享促进政府服务水平提升大数据产生的背景数据的爆发式增长和社会化趋势，新摩尔定律大数据已经成为一种自然资源机器数据日益重要大数据不被利用就是成本浪费大数据产生的背景现有的信息系统和电子政务建设模式难以处理大数据的规模和复杂性−获取(capture)−存贮(storage)−搜索(search)−分享(sharing)−分析(analysis)−可视化(visualization)奥巴马大数据战略2012年3月29日，白宫发布美国政府的大数据计划通过提高从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究大数据时代的背景facebook社交网络…淘宝、ebuy电子商务…微博、Apps移动互联…21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据的4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据不仅仅是“大”一般超过PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值大数据的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的构成大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等处理大数据的一些相关技术存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）处理大数据在技术上面临的挑战1、对现有数据库管理技术的挑战传统的数据库部署不能处理数TB级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的