智慧城市物联网中间件平台

智慧城市物联网中间件平台采购需求文档一、项目背景物联网是通过信息传感设备，按约定的协议实现人与人、人与物、物与物之间的全面互联的网络，其主要特征是通过信息传感设备等方式获取物理世界的各种信息，结合互联网、通信网等网络进行信息传送与交互，采用智能计算技术对信息进行分析处理。从而提高对物质世界的感知能力，实现智能化的决策和控制。作为新一代信息技术的典型代表，与云计算、大数据等新兴热点技术并称为“智慧城市”的支柱，其应用越来越多、越来越重要。在智慧城市建设中，物联网技术已经被广泛应用到市政、交通、应急、水务、环保、食品安全等多个领域，出现了以交通诱导、灾害预警、环保监测、食品溯源等为代表的一批典型应用，并逐渐在各个领域中发挥重要作用，智慧城市物联网应用正走向产业化和规模化。智慧城市物联网的技术体系主要由感知层、网络层、数据层、平台层和应用层组成。其中，感知层和网络层相对发展比较成熟，基本上能够满足物联网产业的发展需求。当前，物联网所面临的是数据层、平台层和应用层这三个层面上的资源整合和业务创新的问题。主要体现为以下几点：接入的物联网硬件设备种类和数量日益增多，不同类别的设备运行环境不同，通信协议也不同，而上层应用需要对这些这些设备进行统一管理，包括信息获取和设备控制。这需要应用的支撑平台可以适配各种异构环境，并且有接入海量硬件设备的能力；城市级的应用需要接入海量的物联网设备，海量设备会产生大量的并发事件和传感数据，物联网应用需要处理大量的并发操作和数据存储。这需要应用的支撑平台能够提供大量的计算和存储能力，使用云计算技术是目前的主要方式。智慧城市建设涉及到市政、交通、能源、教育、医疗等各个领域，不同类型应用需要共享城市里的硬件设备爱资源，这需要应用的支撑平台可以对城市资源进行抽象，以满足不同应用对硬件资源的快速访问。而物联网中间件技术正是为了解决智慧城市物联网中资源整合问题而出现的。中间件平台作为沟通底层感知层设备和上层应用层业务的重要桥梁，封装底层设备和网络的异构性，提供统一、通用的访问接口，实现数据和计算资源的复用。物联网中间件是数据管理、设备管理、事件管理的中心，是物联网应用集成的核心部件。广州中国科学院软件应用技术研究所（简称广州软件所）位于广州南沙，是广州市政府与中国科学院共建的事业法人单位，主要开展智慧城市规划、设计、建设领域的相关研究，重点研究方向包括智慧城市、食药品安全、公共照明、视频分析等领域。由于各个领域行业应用的开发相对独立，在智慧城市应用过程中，不同应用之间的数据无法共享，容易形成不同领域的“信息孤岛”。针对这个问题，本项目将建设智慧城市物联网中间件平台，支持多样化的协议以及设备，并在平台上研发支持多种应用功能业务的应用中间件，满足智慧城市应用扩展的需求，提供系统的灵活性和可扩展性。本项目主要解决的问题如下：定义面向智慧城市的物联网中间件体系结构理论模型。本项目需面向智慧城市应用的领域特征，基于中间件基本理论，定义物联网中间件体系结构模型，解决物联网应用中的海量异构设备接入、多租户应用级进程缓存、通信和调度、城市资源抽象买模型构建等技术问题。提供海量异构设备资源管理技术。本项目物联网中间件平台针对包括典型物联网设备在内的泛在设备，通过采用虚拟化、异构适配等技术，构建统一的设备适配接入容器，屏蔽底层包括典型物联网设备在内的海量泛在设备的异构性，捡来资源总体目录，并通过资源抽象接口向上层应用体用设备资源服务。提供面向多租户的进程缓存技术。本项目物联网中间件平台采用云计算多租户模型，构建新型的多租户应用级进程缓存机制，管理应用级进程的存储空间和数据区域等，实现多租户应用进程的缓存数据隔离与共享。提供基于SOA的进程通信技术。本项目物联网中间件平台面向服务定义应用级进程管道接口、内存共享方式和消息通信技术，并采用SOA的方式向上层应用提供服务，允许其在任意地点通过网络实现进程通信服务的调用。提供基于SLA的进程调度技术。本项目物联网中间件平台针对不同租户应用级进程的SLA需求，定义进程服务的QoS特征指标和相应的调度策略，实现虚拟化资源的动态优化分配和迁移，支撑上层应用服务的资源使用和性能需求。提供城市领域资源组建建模技术。本项目物联网中间件平台通过融合海量异构物联网设备的数据资源，采用领域驱动技术，设计面向智慧澄海市领域资源组建模型，为商场快速智慧城市应用功能开发提供基础数据支持。二、项目需求智慧城市物联网中间件平台，通过在物联网应用与物联网设备之间搭建一座桥梁，提供对物联网设备的注册管理、会话控制、消息路由、故障监测、信息缓存、事件订阅、在线监控等管理功能，使得应用系统可更专注与业务需求的实现。物联网中间件既可以使用传统的私有方式部署，智慧城市某一类物联网应用功能及相关硬件节点，还能够以云计算方式对任意类型的物联网应用和任意数量的物联网节点提供服务。这种方式可大大节省应用系统的接口开发工作量。同时，物联网中间件支持通过集群部署进行性能的横向扩展，能够处理来自大量物联网设备的并发请求。物联网中间件对所有的设备提供统一的支持，任意类型、任意数量的物联网应用及其相关设备可以随意接入，通过订阅模式可将设备消息推送到对应有需要的物联网应用。本项目将面向海量多源异构的城市物联网设备，建设一套智慧城市物联网中间件平台，平台核心功能模块包括物联网应用中间件、物联网消息中间件和数据展示门户三个部分，具体需求如下：1.物联网应用中间件物联网应用中间件泛指智慧城市开发和业务提供过程中用于屏蔽底层系统和通信技术差异的软件和服务，主要存在于应用服务器和网关及感知延伸层嵌入式设备中，位于操作系统、数据库和通信协议之上，具体行业应用之下。应用中间件是面向智慧城市应用的专用中间件，以现有基础中间件技术为依托，主要的中间件包括组件类中间件（如SOA/WebService、CORBA）、数据库访问类中间件（如JDBC、ODBC）、数据描述类中间件（如XML）、嵌入式系统基础中间件（如内存管理）等。本项目物联网应用中间件是在云基础平台上建立弹性可扩展框架实现数据交换与共享服务支撑，由系统软件及数据交换共享门户、数据交换子系统、服务集成子系统、数据融合共享子系统、统一管理监控子系统组成。信息资源包括基础数据、汇集数据、融合过程数据、元数据、服务元数据描述、数据目录库、服务目录库等。系统软件除了操作系统、数据库管理系统，还包括平台建设所需的JavaEE应用服务器中间件、应用集成中间件、消息中间件、文件传输平台软件、ETL软件等成熟的中间件软件。具体内容包括：①物联网数据交换子系统数据交换子系统提供统一的数据采集、传输和交换服务，支撑跨部门之间、内部各应用之间按需信息交换与共享，与业务应用相对独立。采用中心—前置模式，解决跨应用、内部数据交换需求，通过交换中心、交换传输、前置库、前置文件或者WebService等技术方式实现。前置交换模块主要由适配器服务组成，主要包括两种类型的组建：源组建（Source），处理组件（Processor），其中处理组件又分为IO组件，管道组件（Pipe）和目的组件（Sink）。这几个组件之间事务的管理与协调由控制器负责。源组件负责从源应用功能处获取数据，并僵局转换为内部使用的DO消息。目的组建负责将内部使用的DO消息转换为应用可以识别的数据格式，并提交给目的应用。如果没有指定特定的API，在源和目的之间就使用内部的格式进行交换。如果使用FileSink，默认的方式就是用默认的XML的格式输出数据，也可以插入不同的数据格式。同时提供用户定制源组件接口。数据采集适配基于标准的异构系统适配器，可以直接连接到应用系统数据库，通过实时、非实时机制抽取采集数据中的变化增量数据内容，并同步到宏观经济数据中心，同时支持文件及应用适配。统一的数据和服务标准接口数据交换平台中不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，使用XML来描述葛喜彤的统一数据格式。标准的数据处理模块因为不同的系统使用数据方式和格式都可能不一样，为了方便各系统间数据的交换，需要提供一些标准的额数据处理模块，以实现不同系统间自动的数据格式转换。不包括数据库数据、普通文件数据、XML格式数据间的互相映射和转换。处理方式包括过滤、格式转换、压缩、加密等。支持数据及格式转换规则定义可以定义输入数据格式和输出数据格式，以及输入输出数据间的转换方式。通过定义的方式解决大部分数据格式转换的问题，方便数据格式转换功能的实现，减少这部分的编程工作量。数据交换中心交换中心提供解决数据集成问题的标准适配器，比如数据转换，过滤和填充，同时也支持数据交换标准，比如XML、SWIFT等等，还需具有例外处理能力。所有这些类型的适配器需非常容易的无缝集成到异步消息系统和订阅/发布系统中，可以为不同的专用中间件系统提供适配器，通过对接口协议需求进行抽象，使用交换中心统一框架，就可以完成某个中间件产品的特定接口，可以很容易快速的实现新的适配器。主要功能包括：提供应用集成框架。可以实现从一个系统采集数据，对数据进行加工处理，将需要的数据提交给另一个系统使用；支持不同地域中的应用功能系统的集成，在集成框架中应用系统可以在一个系统，也可以分布在不同的地区，提供不同系统之间的数据可靠异步传输；支持多种数据格式，通过集成的不同应用系统可以有各自不同的数据格式（如普通文件、XML、SWIFT），提供数据格式转换功能；提供强有力的数据加工处理能力，如数据压缩、数据加密和签名、数据填充、数据格式翻译消息过滤等。程序员也可以编写自己的数据处理代码加入到框架中来丰富它对数据的处理能力。支持事务功能，在设计多个应用功能的数据交换过程中支持全局事务功能。提供故障恢复能力，当数据处理失败时，提供重新处理功能，应用也可以建立自己的恢复处理过程。提供应用集成适配器的开发框架，程序员可以为特定的应用开发定制的适配器，以集成自有的应用。提供方便易用的配置工具。对XML有很好的支持，用户应用数据可以是XML格式的，系统可以自动识别用户XML格式的数据。同时内部数据表示也采用XML格式。使用JAVA代码实现，具有很好的平台可移植性。②物联网应用服务集成子系统提供SOA架构支持，包括服务总线ESB、适配器服务、服务编排合成等。采用ESB服务总线模式，通过对JMS、Socket、Tuxedo、WebSevice等服务进行集成和编排。实现实时业务和非实时业务集成。并可以和数据交换的跨应用领域的WebService进行集成。服务封装及接入适配器服务适配器服务是外系统接入平台的桥梁，是多种异构系统之间互联互通及互操作的重要组件。适配器需遵循JCA1.标准，真正实现适配器的重用。除了系统本身集成的适配器之外，还需提供适配器开发工具，编剧用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。XML数据根据转换定义的规则，完成数据转换的处理。将原始的数据转换为需要的数据格式。不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）标识方式，因为XML的强大描述能力，本项目使用XML来描述葛喜彤的服务接口和数据传输方式。Web服务服务的技术实现及其表现形式需支持多种，如本产品提供的Java服务、常用的Web服务等。能够将用户创建的Java服务、适配器服务等，发布为Web服务，而且还提供了访问外系统提供的Web服务的开发工具。提供服务的注册、发现功能，可以提供系统内置的服务注册库，也可以直接继承基于标准接口如JAXR、UDOI的服务注册库，进行服务的发布注册、复杂条件检索等，以便用户从服务注册库中检索合适的服务进行消费组装及注册管理，管理Web服务生命周期。代理服务为方便Web服务的集中统一管理和访问，并丰富用户已有