第八章 无线传感器网络数据管理技术

无线传感器网络技术及其应用课程目录8.18.2无线传感器网络数据管理的基本概念无线传感器网络数据管理的关键技术现有传感器网络数据管理系统介绍8.38.4无线传感器网络数据管理系统DiswareDM8.1无线传感器网络数据管理的基本概念以数据为中心的无线传感器网络数据库无线传感器网络数据管理系统的特殊性及设计目标无线传感器网络数据管理技术的研究热点8.1.18.1.28.1.318.1无线传感器网络数据管理的基本概念以数据为中心的无线传感器网络数据库8.1.18.1无线传感器网络数据管理的基本概念8.1.1以数据为中心的无线传感器网络数据库无线传感器网络的数据库抽象将网络数据抽象为数据库，并提供用户执行类SQL的数据库查询的数据处理方法的优点：可以利用如数据融合、数据调度、数据存储等处理技术来简化传感器网络数据管理系统的设计。采用类SQL的通用数据库查询语言，便于用户快速学习和掌握传感器网络应用系统的使用。使用“网络即数据库”抽象概念可以对用户隐藏复杂的网络数据处理的过程，降低了对用户的理论基础要求。8.1无线传感器网络数据管理的基本概念8.1.1以数据为中心的无线传感器网络数据库8.1无线传感器网络数据管理的基本概念8.1.1以数据为中心的无线传感器网络数据库对无线传感网络的要求用户能获取网络整体情况，并发布查询甚至控制命令。命令能被解析和优化，并发布到数据源区域。命令能快速、准确传达到指定区域，并被执行。感知数据信息能够以最有效的方式传送回控制中心。数据信息应该以用户感兴趣的方式显示出来。8.1无线传感器网络数据管理的基本概念以数据为中心的无线传感器网络数据库无线传感器网络数据管理系统的特殊性及设计目标无线传感器网络数据管理技术的研究热点8.1.18.1.28.1.38.1无线传感器网络数据管理的基本概念8.1.2无线传感器网络数据管理系统的特殊性及设计目标①无线传感器网络处理的是无限、连续、实时、流式的数据。②节点上的存储、计算和能量资源非常有限。③数据传输路径上的中间传感器节点有对本身采集的数据和其他节点转发来的数据进行融合、缓存、转发的能力，可以减少冗余数据在传输中耗费的网络资源。④邻居节点采集的数据通常具有相似性，是从不同监测点得到的同一事件的相关数据，所以数据存在冗余性。⑤网络中的数据源是大规模分布的传感器节点，节点采用与IP地址类似的全局编址或局部标识，标识与节点物理位置无关。无线传感器网络与分布式数据库相比具有的特殊性8.1无线传感器网络数据管理的基本概念8.1.2无线传感器网络数据管理系统的特殊性及设计目标两者需要提供的服务方式存在差异两者管理的数据具有不同的特征两者管理的数据具有不同的误差特点两者数据管理的目标不同两者数据管理处理查询方式存在差异两者采用的查询处理技术不同两者采用的存储技术不同无线传感器网络的数据管理系统与分布式数据库系统存在的明显差异以数据为中心的无线传感器网络数据库无线传感器网络数据管理系统的特殊性及设计目标无线传感器网络数据管理技术的研究热点8.1.18.1.28.1.38.1无线传感器网络数据管理的基本概念8.1无线传感器网络数据管理的基本概念无线传感器网络数据管理技术的研究热点8.1.3TEXTTEXTTEXTTEXT数据存储策略、存取方法和索引技术数据获取技术数据存储技术数据查询技术分析挖掘技术数据管理系统传感器网络和感知数据模型技术元数据管理技术、传感器数据处理策略、面向应用的感知数据管理技术面向无线传感器网络的查询语言、数据融合方法、分布式查询优化处理技术OLAP分析处理技术、统计分析技术、传统类型知识挖掘、与感知数据相关的新知识模型及挖掘技术、数据分布式挖掘技术数据管理系统的体系结构和实现技术课程目录8.18.2无线传感器网络数据管理的基本概念无线传感器网络数据管理的关键技术现有传感器网络数据管理系统介绍8.38.4无线传感器网络数据管理系统DiswareDM8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1数据查询处理技术8.2.2数据融合技术8.2.4数据压缩技术8.2.38.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1一、网外集中式存储方案二、网内分层存储方案三、网内本地存储方案四、以数据为中心的网内存储方案8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1感知数据从数据普通节点通过无线多跳传送到网关节点，再通过网关传送到网外的基站节点，由基站保存到感知数据库8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1网络性能分析：假设直接通信距离为单位1，WSN的网络半径为R，在没有网络拥塞和丢包情况下，每节点每传输1bit的数据至网关的过程中传输通信量平均至少为Rbit。如果平均一次查询所需的感知数据为Mbit，则集中式查询处理的平均网络通信量至少为（MR）bit。当M值较小时，整个网络的通信量相对较小，网络中无线通信较为流畅，很少有拥塞现象，此时通信量接近于极值（MR）bit；当M值较大时，不仅极值（MR）bit发生线性增长，网络通信量更是急剧增加，网络拥塞现象更加严重，造成通信成本大大膨胀。此外，还易于造成靠近网关节点的节点能量过早耗尽，影响网络的连通性。8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1一、网外集中式存储方案二、网内分层存储方案三、网内本地存储方案四、以数据为中心的网内存储方案8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1两类传感器节点：一类是大量的普通节点，另一类是少量的有充足资源的簇头节点。8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1一、网外集中式存储方案二、网内分层存储方案三、网内本地存储方案四、以数据为中心的网内存储方案8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1采用网内本地存储方案时，数据源节点将其获取的感知数据就地存储。基站发出查询后向网内广播查询请求，所有节点均接收到请求，满足查询条件的普通节点沿融合路由树将数据送回到根节点，即与基站相连的网关节点。8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1一、网外集中式存储方案二、网内分层存储方案三、网内本地存储方案四、以数据为中心的网内存储方案8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1以数据为中心的网内存储方案采用以数据中心的思想，将网络中的数据按内容命名，并路由到与名称相关的位置。采用方案时需要和以数据为中心的路由协议相配合。存储数据的节点除负担数据存储任务外，还要完成数据压缩和融合处理操作。8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1大量冗余信息传输可能造成大量的能耗损失，而且容易引起通信瓶颈，造成传输延迟。网外集中式优点缺点网内处理简单，适合于查询内容稳定不变且需要原始感知数据的应用系统，对于查询数据量不大的实时查询，查询时效性较好。靠近簇头处存在通信集中现象，只能用于层簇式网络，有一定的应用局限性。网内分层式查询时效性好，数据存储的可靠性好需要将查询请求洪泛到整个网内的各个角落，网内融合处理复杂度较高，增加了时延。网内本地式数据存储充分利用网内节点分布式存储资源；用数据融合和压缩技术减少数据通信量；数据没有集中化存储，使网内不会出现严重通信集中现象。数据存储耗费一定的通信成本；可能造成某些存储节点的存储空间不足，需要采用复杂的邻近存储方法，或哈希算法，增加存储和查询复杂度。数据为中心的网内式数据存储有规律性，便于查找，加快了查询速度，便于在网内进行同类型数据融合，减轻了通信量。8.2无线传感器网络数据管理的关键技术无线传感器网络数据存储结构8.2.1数据查询处理技术8.2.2数据融合技术8.2.4数据压缩技术8.2.38.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2二、查询系统结构三、查询处理方案一、查询类型四、查询处理优化技术8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2①历史查询：对从传感器网络获得的历史数据的查询。②快照查询：对传感器网络在某一给定时间点的查询。③连续查询：关注在某一段时间间隔内传感器网络数据的变化情况。查询类型8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2一、查询类型三、查询处理方案二、查询系统结构四、查询处理优化技术8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2由于采用了分布式处理技术，传感器网络查询处理系统一般由全局查询处理器和在每个传感器节点上的局部查询处理器协作构成。当用户提交一个连续查询以后，全局查询处理器需要把查询分解成一系列的子查询提交到相关传感器节点上由局部查询处理器执行。这些子查询也是连续查询，需要扫描、过滤（即选择）和综合相关无限实时数据流，产生连续的部分查询结果流，返回给全局查询处理器，经过进一步全局综合处理，最终返回给用户。传感器节点上的局部查询处理器是连续查询处理的关键。与全局连续查询一样，传感器节点上各个连续子查询也需要执行很长时间。在连续子查询的长期执行过程中，传感器节点及其产生数据的特性、传感器节点的工作负载等情况都在不断地发生改变。因此，局部查询处理器必须具有适应环境变化的自适应性。8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2一、查询类型二、查询系统结构三、查询处理方案四、查询处理优化技术8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2无线传感器网络查询处理一般可分为两个步骤：(1)将全局查询处理器分解出的所有子查询发布到查询所指定的目标区域中。(2)收到查询任务的数据普通节点执行查询返回查询结果数据。目前已提出的主要查询处理方案可分为以下3种类型：(1)采用广播发布查询的方法；(2)采用特定路由方式；(3)采用定向扩散技术。8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2一、查询类型二、查询系统结构四、查询处理优化技术三、查询处理方案8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2(1)无线传感器网络连续查询自适应技术（CACQ）对于没有连接操作的单个连续查询，CACQ把查询分解为一个操作序列。CACQ还可以处理多个无连接的连续子查询。处理N个子查询的一般办法是：当一个感知数据进入系统时，CACQ轮流把它传递到N个子查询的操作序列，完成N个子查询的处理。CACQ不复制感知数据，这样做的优点是可以节省复制数据占用的存储区和复制数据消耗的计算资源。无连接多查询处理的关键在于从多个查询中提取公共操作，使得多查询的公共操作只执行一次，避免重复计算。图8-5CACQ连续查询处理结构8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2(2)统计模型驱动的查询处理技术思想：首先基于已经存储和正在产生的感知数据，建立一个感知数据的统计数学模型，然后基于这个模型来回答用户的查询。由于统计模型的参数表示和基于统计模型的查询计算较为复杂，因此除了在基站端计算网络全局数据的统计模型外，网内普通传感器节点上由于存储和计算能力限制不存储模型或者仅存储本节点（或包括相邻一跳节点）的一个或几个感知属性的统计模型。8.2无线传感器网络数据管理的关键技术数据查询处理技术8.2.2(2)统计模型驱动的查询处理技术图8-6模型驱动的WSN数据管理方案基于模型驱动的查询处理方法的优点如下：①利用模型可以计算出还需要哪些位置的哪些数据，减少查询的盲目性，降低网内查询处理的数据量。②利用统计模型可以计算数据之间的相关性信息，利用数据之间的相关性可以用查询节能属性数据的方式代替查询耗能多的属性，从而实现查询节能。③根据概率模型可以辨别出不可靠的数据及失效的节点，可提供给用户网络中存在问题的节点信息。④提供用户查询结果的同时给出关于查询结果的精确度，这对于科学工作者来说是很有用处的。⑤根据模型预测分析未来数据的变化趋势，