搜索
“数据”简析——追根溯源数据产生于计算机出现之前：书本、地图、艺术等计算机出现以后，数据的内涵与表现形式都发生了巨大变化①在存储介质层面，数据表现为各种能保存0，1两种状态的载体②在逻辑层面，数据表现为组织与使用方式逻辑层面（数据管理）物理层面（存储介质：卡片，内存、磁盘、光盘、磁带）100001今天，我们讨论的主要是指逻辑层面，可称为数据管理海量数据管理——时代的挑战IDC研究表明：全球数据产量仅2011就达1.8ZB(或1.8万亿GB）；未来十年的全球数据量将增长50倍主要有两类情况：一类是原有数据种类量的增加（如业务应用等）另一类是过去我们没关心或没能力关心的数据（如Weblog，社交媒体，实时位置，智能设备、传感器计量等）数据管理最大的挑战是：海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性很多传统的技术已经难以应对！电子政务公共平台的挑战---数据管理业务应用对IT方面需求信息资源共享云服务中心InformationServices形成权威性的建委数据管理中心保证各部门的数据共享需求保证各业务系统的业务使用对数据不全、不准的系统可以对其数据进行审计与绩效监控对数据可以进行展示、挖掘、利用、分析，向下为各区县服务，向上为委领导、住建部领导做决策支持服务。……形成数据资源共享服务新秩序住保业务系统辅助决策分析住保数据资源中心规划计划年度任务管理计划下达落实任务完成情况项目结转其他任务完成数据库计划落实数据库年度计划任务数据库项目房源项目计划项目手续办理项目施工进度房源调配其他房源数据库项目进度数据库项目前期数据库保障家庭终止管理变更管理资格备案（三审两公示）数据验核其他保障资格数据库审批过程数据库资格申请数据库配租配售批次摇号合同管理租金补贴选房管理其他租金补贴数据库合同数据库选房数据库后期管理入住管理物业管理违规使用住房租金收缴其他投诉管理数据库动态核查数据库物业费数据库……其他业务系统项目数据项目基础数据项目投资数据其他GIS数据项目责任单位项目前期手续项目施工进度项目竣工数据单体数据单体基础数据单体监理单单体施工单位单体前期手续单体进度数据单体竣工数据单体质量监督数据其它数据其它数据户数据户基础数据配售数据配租数据房屋权属数据房屋修缮数据房屋档案其它数据其它数据保障家庭数据终止管理数据资格备案数据资格申请数据变更管理数据年审数据项目拆迁数据项目质量监督数据其它数据住保空间数据保障房规划项目保障房建设项目保障房单体数据其它数据保障资金数据区级租金补贴资金数据市级租金补贴资金数据市级建设资金数据区级建设资金数据物业费数据房屋维修基金数据其它数据其它数据后期管理数据违规使用房屋监管数据物业管理数据合同管理数据骗购骗租监管数据不良信用档案数据其它数据档案管理数据其他管理档案数据房源档案数据建设项目档案数据保障家庭档案数据其它数据共享数据公安数据工程管理数据房产交易数据民政数据决策支持数据库BI挖掘分析动态监管统计报表三维分析资源中心GIS分析、展示数据交换平台数据接口数据交换数据校验数据安全集中资源池的共享虚拟化、分时/区共享动态调配、弹性伸缩自动化、自服务低成本、标准化硬件云计算云数据管理技术标准化能力服务化提供快速化资源弹性化管理自动化管控集中化新工具----云数据管理计算资源、存储数据应用/服务云接入数据仍然是云中心最重要的信息资产！电子政务公共平台数据管理技术是指全生命周期的数据管理体系，包括数据采集技术、数据存储技术、数据服务技术等全过程的管理技术。它结合云计算、大数据的管理技术特征，同时规范电子政务公共平台数据管理核心要素，并兼顾、引导传统数据管理技术逐步进化为云数据管理技术。复杂数据采集源头海量分布式存储与管理数据服务管理数据共享交换管理与服务数据集成管理与服务标准的访问接口服务化……电子政务公共平台数据管理技术标准的建设，最终要指导平台建设数据资源的统一采集管理、统一存储管理、统一利用服务管理和业务应用系统的数据融合管理，形成平台相应的数据管理技术规范，保障政务数据资源的有效利用与开发。电子政务公共平台数据管理技术标准是指导平台通过多种数据服务支撑模式，实现政务数据在平台上的统一维护和灵活配置服务，为政务数据的高效使用提供有力的支撑管理能力，为政府社会管理创造更多的价值。三个环节四部分内容数据管理采集技术指的是，依照平台管理和服务的用户需求，从平台有效的数据源中获取和收集各种形态数据的过程管理技术。它的设计内容包括数据源的发现与定位和数据采集与提取等技术过程。数据管理采集技术设计1.确定数据源的范围（什么样的数据源为平台合格的数据源）；2.如何将数据源变成真正的采集对象（服务化，自服务）；3.采集对象的自描述（含盖哪些属性）；4.平台与采集对象的绑定（采集过程的实现）；5.对采集过程的监控与追溯；6.对采集行为及任务完整统计分析；7.平台将上述功能的服务化，并为提供给平台的使用者。数据管理采集技术设计采集技术要解决的问题：采集对象管理采集过程管理采集监控管理采集统计管理数据管理采集技术设计数据源：平台能管理的数据来源，涵盖在平台内外部署的所有应用系统，应包括政务业务应用、物联网应用、互联网应用和移动应用等。采集对象：能自描述和自服务的所有数据源称之为采集对象。自描述是指它能提供所属单位、数据内容、数据关联、数据类型、更新频率、访问方式等属性，并以服务形式提供给平台发现和定位；自服务是指它以服务化方式提供接入平台的方式，以便平台获取和收集数据。平台对采集对象管理功能：1.提供采集对象的属性描述功能，所有接入的数据源需要有唯一标识、所属单位、数据内容、数据类型、更新频率、访问方式、通信机制等；2.提供组织功能，可按用户的组织机构、业务应用等不同方式进行分类管理；3.提供对采集对象的查询/检索功能；4.提供生命周期控制功能，包括采集对象的注册、发布、使用授权、变更、注销；5.支持数据源管理模型的扩展能力，以便适应多种新型的信息存取方式。采集对象管理采集过程管理采集监控管理采集统计管理数据管理采集技术设计平台对采集对象的绑定：通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除等。采集流程调度：在采集过程中，依照数据提供周期及使用周期的不同，提供不同频次的数据采集调度，包括：可以根据不同业务、不同场景，实时调度或者指定在某一天单一调度，也可以指定在某年、某月、某日、某小时、某分来循环调度。并行采集技术：为提高采集效率，通过多通道分时复用数据采集、多通道同步数据采集、分布式数据采集等采集技术。采集对象管理采集过程管理采集监控管理采集统计管理数据管理采集技术设计状态监控：监控采集过程中的所有信息，包括提供采集对象监控，包括采集对象运行状态、负载情况监控等。任务监控：能实时了解供采集任务执行情况，能实时了解任务执行时间、采集数据量、采集数据大小、空间使用情况、内存使用情况等。异常监控：针对过程中的异常情况，能提供异常情况预警；包括采集任务执行失败、采集节点状态异常、网络情况异常等；对采集异常情况可以进行采集任务追溯。采集对象管理采集过程管理采集监控管理采集统计管理数据管理采集技术设计在数据过程中，采集统计管理负责对采集过程和采集结果的统计，主要包括：采集任务运行情况统计；采集任务资源使用情况统计；采集任务异常事件统计等按照日报、周报、月报、年报、实时报方式统计；将各统计信息以不同图表方式展示。在云计算电子政务公共平台环境下，针对数据的非确定性、分布异构性、海量、动态变化等特点，设计采用分布式数据存储技术对数据存储进行有效管理，为向用户提供高效的数据服务能力。数据管理存储技术设计1.按不同用户的需求，确定数据存储策略；2.对不同用户的数据，要实现数据隔离或融合机制；3.对用户提供高效管理的工具（配置、导入、导出、安全等）；4.云服务动态调度策略和机制；5.为用户提供对存储的有效监控；6.支持非结构化和半结构化数据的存储管理技术；7.支持大数据存储与分析。数据管理存储技术设计存储技术要解决的问题：存储管理存储调度存储监控存储备份数据管理存储技术设计平台云存储的管理：通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问性能；存储管理是实现存储设备向存储服务的转变的核心。云存储管理要求：云计算系统能为不同用户提供不同级别的数据存储策略。应提供可将计算机文件的存放划分为几个等级，如单机级、跨服务器级、跨机柜级以及跨数据中心级。为单个用户提供独立逻辑数据存储空间，必须保证各用户之间的数据不可见性，确保多用户之间的数据隔离机制。存储管理存储调度存储监控存储备份数据管理存储技术设计存储调度策略：在存储调度管理过程中，应提供根据不同任务需求和调度模型情况下的云服务动态调度机制：可通过相应的权限和优先机制进行服务的调度处理，以平衡各类应用压力，优化资源的应用；提供让用户可以按任意的时间间隔（年、月、日、时、分）自动调度。存储管理存储调度存储监控存储备份数据管理存储技术设计存储活动的运行状态监控：存储监控指在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控等。分布式文件系统监控：监控信息包括节点信息、文件/数据块分析、文件历史操作、数据块操作历史、文件/数据块排名等监控。存储管理存储调度存储监控存储备份数据管理存储技术设计安全设计应考虑支持多实例并行：任一实例宕机不会影响应用可用性，系统自动完成运行实例与数据的恢复。支持集中控制云环境多节点数据并行备份：应支持系统提供错误监控机制，对于故障采取自动迁移，采用多份备份来确保数据的安全性，系统达到高可用性。电子政务云平台应提供数据管理的服务技术，方便各部门用户管理处理和共享所需的各种数据资源。设计针对服务全生命周期不同阶段进行管理提供的服务。数据管理服务技术设计1.数据的使用要以服务方式体现；2.要支持数据服务的多样性，形成统一访问方法；3.要支持数据服务灵活变更需求；4.对数据服务要有有效监控手段；5.平台要支持多租户管理；6.要有支撑数据服务的支撑技术。数据管理服务技术设计服务技术要解决的问题：数据管理服务技术设计数据服务发布管理数据服务访问管理数据服务变更管理数据服务监控管理数据资源目录服务技术设计应按照《政务信息资源目录体系》系列标准的各项功能设计，并将功能按照公共平台规范要求将各功能进行服务化设计。数据目录服务技术设计目录编目目录注册目录发布目录查询目录维护数据目录服务技术设计共享交换服务技术设计，应在按照《政务信息资源交换体系》系列标准要求的功能基础上实现共享交换功能的服务化和前置机虚拟化，并实现电子政务公共平台内部应用系统间及政务公共平台内部、外部应用系统间的交换和共享服务。数据共享交换服务技术设计交换桥接前置交换交换传输交换管理数据共享交换服务技术设计数据集成服务设计，应提供面向多租户的ETL服务，即数据抽取（Extraction）、数据转换（Transformation）、数据加载（Loading）服务，同时提供用户自主使用的ETL开发配置和监控管理服务，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析。数据集成服务技术设计数据抽取服务数据转换服务数据加载服务ETL开发配置服务ETL监控管理服务数据集成服务技术设计对可支持常见关系型数据库、非关系型数据库、文件等不同类型的数据源的数据抽取，必须支持主流国产数据库。支持全量抽取、增量抽取、基于日志的抽取等抽取模式。具备扩展能力，可以支持诸如NoSQL的非关系数据库的抽取。主要指为满足电子政务应用需求而提供的对数据的多种技术处理手段。电子政务中常用的有：数据分析服务和数据展现服务等。数据处理服务技术设计数据分析服务数据展现服务数据处理服务技术设计公共平台应根据所