搜索
一、引言数据是客观事物的属性、数量、位置及其相互关系等的抽象表示。企业数据包含了巨大的企业价值，数据蕴含着无尽的商业机会；是企业最可宝贵的财富之一。数据可以独立于应用系统单独存在，即构成一个数据工程。数据工程是信息化建设的起点和基础工作。如何存储和处理海量数据，如何实现不同指挥机构、作业单位、系统和平台之间的数据共享与互操作，如何确保数据的安全保密等，正是数据工程要解决的问题。下面请让我们来回顾一下美国国防部的数据工程发展过程，或许能对我们即将准备实施的数据资源规划与建设项目有些启发：DOD(美国国防部)数据工程的发展过程1．独立应用阶段。早期的DoD应用都有自己的数据，而且应用程序很少访问其他部门或系统的数据，数据与程序捆绑在一起，数据的定义、格式以及操作规则完全由使用它们的应用程序来解释，共享数据几乎是不可能的。2．CoE(公共操作环境)阶段。COE是一个不断发展的理论体系和软件基础设施，它最初的目标是解决特定应用系统(譬如全球指挥控制系统)的集成问题。但随着数据库管理系统(DBMS)的不断成熟，应用系统的程序和数据逐渐分离，为此，COE提供了其他系统数据访问服务，但这时不同的数据库／数据文件彼此孤立，未形成统一的数据视图。3．数据集成阶段。该阶段主要为DoD用户提供访问共享数据的统一的逻辑视图。通过DoD数据模型(DDM)以及标准数据交换格式，可以将分散在不同宿主机上的数据库集成为一个物理上分布、逻辑上统一的数据库系统。数据标准化工作大大提高了DoD作战信息系统之间的数据共享与互操作能力。但数据标准并非万能，它不能完全解决数据共享问题。4．SHADE(数据共享工程)阶段。SHADE在数据标准化的基础上，通过提供多种可重用软件构件和数据段，特别是引入数据仲裁与转换机制，为遗留系统、在役系统和新研系统之间的数据共享与互操作，提供了三种用法不同而基础一致的解决方案，包括共享数据服务器、虚拟数据仓库和XML门户。SHADE成功的关键是它不仅提供了数据重用和共享的指导思想，同时提供了完备有效的工具来保证这些指导思想的实施，包括公共数据表示，实现共享数据服务器、元数据知识库、数据仲裁器和虚拟数据仓库，以及数据分段和数据一致性验证等工具，为各种异构系统提供数据集成与访问服务，甚至它还开发了联合公共数据库(JCDB)及其访问接口，用来存储联合指控共享数据。SHADE使得DoD数据工程实现了新的飞跃。二、总体目标通过上一节美国国防部数据工程的发展历程，对照目前运营中心的数据建设现状，从数据工程技术发展的角度来看，不难得出目前我们仍然处于人家发展的第二个阶段即CoE(公共操作环境)阶段的判断，按照DoD的标准来衡量，我们实施数据资源规划与建设的项目目标就是要通过项目的实施，使我们运营中心的数据建设跨入到第三阶段即数据集成阶段，并最终进入第四阶段即SHADE(数据共享工程)阶段。就一般情况而言，企业数据信息化建设（数据工程）的发展也都要经历3个阶段：1、大而全的数据库阶段；2、精而准的数据集成阶段；（此阶段可大概理解为涵盖了DoD的第三第四2个阶段。）3、知识管理与知识发现阶段。通过深入细致的审视我们目前现有的企业数据资产现状及存在的问题（具体的问题下一节会提到），在准确判断我们所处的阶段的基础上，然后做出下一步发展的目标需求，建议实施《运营中心数据资源规划与建设项目》（以下简称“本项目”）。从支撑运营中心业务信息化发展的角度来看，我们通过本项目的实施，其最低的目标在于建立运营中心范围内数据重用和共享的一种信息基础设施，解决目前比较多的信息孤岛，存在大量冗余数据、垃圾数据、无法保持数据一致性的信息化建设困境；最高的目标在于要建成“数字管线”，为今后建设广州燃气“智慧管网”、面向应急指挥的综合调度系统打下坚实的基础。（注：数字管线是对管线实现数字化管理的全过程，就是从管线的设计、建设到管线的维护，将管线所经过的地方采用航拍技术进行数字化，建立基于三维可视化的地理信息系统，建立沿管线两边20—50m范围内的地表、人文环境和显著标志档案，管线从管材质量、管径、接头焊点，接头所在位置中地形地物、地质构造及各种设备全部记录在案。实现了数字化就可以实现远程适时采集与管理，这就是管线的数字化。）三、项目建设内容3.1识别定义哪些是属于运营中心业务范围内的核心数据资产（也即上面提到的“共享数据”）。重点了解这些数据的产生、采集、加工处理、维护和存储方式、所涉及到的具体业务流程、相关干系人和使用该类数据的规则要求等内容；（注：运营中心业务范围内的核心数据是指记录和支撑运营中心管网运维业务的属性、数量、位置及其相互关系等的抽象表示。要清晰区别核心数据与普通业务数据，对于普通的业务领域数据考虑信息化的现状可按照信息系统的建设需求进行规划）。运营中心的核心数据主要分2大类：空间数据与非空间数据（粗略统计，可能还有遗漏）：空间数据包括：（1）基础数据(现状数据)，主要包括地形图，主要用于描述城市的地形地貌，道路，建筑物，绿地，河流，山脉，行政区划等（2）管线数据，包括地下的高压燃气管线和中低压燃气管线及其附属的管线设备，包括阀门（阀门井）、调压器（调压箱、调压柜、调压井）、测压变送设备（RTU监测点）、凝水缸、节点（变径、三通）等地理要素的空间坐标、高程及其属性值。（3）运营中心下属调压站、阀室、分输站、抢险维修队的空间位置和附属的视频摄像枪、安防监控设施。（4）运营中心下属巡线工、抢险维修车、测漏车实时位置及其属性值。非空间数据包括结构化的数据（以数据表记录的方式存在数据库中）和非结构的话的各类文档和多媒体数据（包括文件、图表、音视频文件的数据）结构化的数据主要包括站场设备和测点的工艺数据、管网设备的资产管理和运维记录、调度中心的生产调度（计划停气）记录，抢险抢修记录、燃气应急事件（报警及处理）记录、气量管理与调度记录；中压部的巡线巡检记录、设备资产、保养与维修记录、计划停气与意外停气记录非结构化的数据主要是工程建设领域的众多以文件形式存在的各类图纸、会议纪要、标书、项目管理类的工作计划、工程变更联络函等；财务范畴的概算预算资料，报价文件等。3.2定义元数据和数据模型。对核心数据资产进行分类整理，建立核心数据资产信息库（目录黄页），定义核心数据类型、组织方式、采集、加工、访问、存储、更新的规则机制；可以参照数据中心和企业信息总线的思路提供上层信息系统的数据访问机制。3.3对已有的核心数据资产的整理（整合）。按类别，针对现有信息系统中不同的核心数据采取不同的方式进行入库，对于各专业各部门的核心数据（初步考虑），需要灵活采取不同的处理策略：外购基础图层数据（涉及管线维修抢险）：在项目预算允许的情况下，建议购买比较新的广州基础地形图层(矢量图和卫星遥感影像图，优先白云区北部、罗岗、番禺南部亚运村附近、南沙区)，考虑到亚运会广州城市变化的现实，而引起的周围地形带的变更及管线的迁移等情况，建议涉及亚运场馆的区域也购置基础图层。通过普查采集存疑的或缺失的空间数据：对于重点路段、区域的管线，特别是已经有员工反映的存疑或有市政施工做过地下管线迁改的地点，为保证管线核心数据的正确性，保证进入核心数据库的数据的权威性，建议在预算允许的情况下，进行普查摸底。通过查阅档案资料补齐相关数据属性值（人工录入）：对于现有关键属性数据中存在的空值的情况，需要清理，确实的数据通过查阅工程图纸档案资料的方式人工录入补齐。如果现有的图文组或中压部无法安排人员的话，可以考虑打包外委第三方单位实施。不同格式数据的转换：对于现存的文件格式等非结构化核心数据，建议采取人工或软件方式进行转换进入核心数据库。对于部分地下管线中存在的缺少三通、变径、弯头、连头等设施的位置标识（管线抢险时需要）、图片资料及统计信息等情况，建议采取现场采集空间数据的方式完成。补齐以下各种原因引起的设计缺失和错误：管线本身资料不齐而引起的遗漏缺失道路工程引起的管线改向和管线设施的变化管线图形编辑因设计、竣工图本身与实际有误而引起的错误编辑资料不齐加上数据资料更新的管理不规范。将目前管网设备运维保养业务中普遍存在的“纸质卡片”进化为无纸化的“数字卡片”，提高中压设备维修工的工作效能。设备类数据作为核心数据资产，需要进入核心数据库：目前，除了基础地形数据、管网要素数据、管网设施属性数据外，缺乏管网设施维护数据，该类数据目前仍然采用设备维护卡片的方式在现场登记维护数据，回所在队之后，批量将这些动态数据人工录入到Excel,没有进入管网结构化数据库系统中。对于高压、中压类工艺设备运行的历史记录数据，也需要作为核心数据需要通过转换存储到核心数据库中或建立数据共享访问的机制。3.4建立数据监理机制，开发数据入库逻辑检查工具软件保障入库数据的质量；保证进入系统的不是“脏数据”。再条件许可的情况先，聘请独立第三方的数据工程（信息工程）公司作为我方项目实施数据整理入库工作的数据监理，以保证入库的数据的质量是在可监督的状态之下。3.5、开发实现企业信息总线及面向服务的架构的数据访问机制所需要的数据服务组件（软件构件）；建立一个分布式数据管理及信息共享平台。3.6建立和完善数据资产管理规范。在数据资产的管理和开发利用方面，国家或部门已相继出台了部分相关规范和标准，以国土行业为例，如GB／T13923-92(国土基础信息数据分类代码》、DDB9702(GIS图层描述数据内容标准》、《国土资源信息系统设计规范》、《国土资源信息网络建设规范》等，但目前还没有一个专门的数据资产管理规范。为了对运营中心数据资产进行长效可持续的管理和开发利用，本项目针对各类核心数据的管理应尽快制定专业的数据资产管理规范，包括数据格式、数据录入、信息发布、数据访问、数据加密、数据存储、数据交换、安全控制等有关内容。四、技术路线与架构设计虽然建设能实现统一存储空间的数据中心是我们进行数据集中和整合的主要技术及努力方向，但考虑到现有核心数据的实际分布状况和复杂性，我们仍将在较长时间内要面对存在分布式网络环境中的各类核心数据的情况。项目的重点工作除了原有数据资产的清理入库之外，最核心的是要实现一种软件构件或软件技术来实现核心数据的重用和数据共享问题。建立起运营中心范围内数据重用和共享的一种信息基础设施，实现为各种异构系统提供数据集成与访问服务，甚至它还开发了联合公共数据库(JCDB)及其访问接口，用来存储联合指控共享数据。具体的实现技术有多种，推荐采用SOA的思想利用WebService、XML技术来具体实现。数据共享是系统集成获取信息优势的主要途径和重要手段。通过统一的机制、统一的标准、统一的数据调度机制实现整个信息系统数据共享。该方式不仅实现了多系统的数据集成，还实现整个信息系统的数据共享。共享平台（机制）主要提供以下几个方面的功能和服务：（1）目录服务目录服务帮助用户或应用软件。发现存在于分布式计算机环境中任何地方的数据。一个目录可以被认为是一个数据库，这个数据库中包含了一组用户或一个用户群体所关心的、所能获取的数据信息。目录服务是数据共享的关键技术之一。因为WebGIS通常连接着海量的地理空间数据，只有通过高效快速的目录检索，用户才能有效地查找出适合他们需求的数据。(2)元数据组织与管理。元数据是描述数据的质量、容量、来源等特征的数据。元数据的主要特征包括可鉴别信息、数据质量信息、空间数据组织信息、实体和属性信息、分布信息、元数据参考信息、引用信息、时间属性信息、联系信息等。其主要作用是使目录系统能够精确地查找目标数据源，同时为用户提供正确处理和使用目标数据的技术服务。(3)数据文档的管理。空间数据、属性数据及其他各种类型的数据(包括多媒体数据)是实现数据共享访问的主体，通常存储在专用的数据服务器或大型存储器中。用户在远程访问时，可以在目录系统中获取位置编码和访问编码，从而能快速、准确地定位在目标数据文档上。通过在目录服务中注册，数据将被存档，并且可以在以后的任何时间访问该数据。(4)数据安全管理。数据的安全问题在数据资产的共享中尤为重要，它主要涉及不