物联网智能信息处理技术

物联网应用技术导论第4章物联网服务与管理技术《物联网应用技术导论》课件第4章物联网服务与管理技术物联网应用技术导论第4章物联网服务与管理技术4.4物联网智能信息处理技术智能信息处理指信息的储存、检索、智能化分析利用，比如利用人工智能对感知的信息作出决策和处理。物联网的智能信息处理主要针对感知的数据，而物联网的数据具有三个独特的特点：1、异构性在物联网中，不仅不同的感知对象有不同类型的表征数据，即使是同一个感知对象也会有各种不同格式的表征数据。比如在物联网中为了实现对一栋写字楼的智能感知，需要处理各种不同类型的数据，如文本、图形、音频、视频，互联网上提供的相关超文本链接标记语言(HTML)等。为了实现完整准确的感知，必须综合利用不同类型的数据获得全面准确信息。物联网应用技术导论第4章物联网服务与管理技术4.4物联网智能信息处理技术2、海量性物联网是网络和数据的海洋。在物联网中海量对象连接在一起，每个对象每时每刻都在变化，表达其特征的数据也会不断地积累。如何有效地改进已有的技术和方法，或者提出新的技术和方法，从而高效地管理和处理这些海量数据，将是从这些原始数据中提取信息并进一步融合、推理和决策的关键。3、不确定性物联网中的数据具有明显的不确定性特征，主要包括数据本身的不确定性、语义匹配的不确定性和查询分析的不确定性等。为了获得客观对象的准确信息，需要去粗取精、去伪存真，以便更全面地进行表达和推理。物联网应用技术导论第4章物联网服务与管理技术4.4物联网智能信息处理技术4.4.1数据库与数据存储技术在物联网应用中数据库起着记忆（数据存储）和分析（数据挖掘）的作用，因此没有数据库的物联网是不完整的。目前常用数据库技术一般有关系型数据库和非关系型数据库（比如实时数据库和NoSQL数据库）。物联网应用技术导论第4章物联网服务与管理技术1、关系数据库关系数据库是指采用关系模型来组织数据的数据库。简单地说，关系模型就是二维表格模型，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系型数据库具有如下特点：1、容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其它模型来说更容易理解。2、使用方便：通用的SQL语言使得操作关系型数据库非常方便，程序员和数据管理员可以方便地操作数据库，而完全不必理解其底层实现。3、易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。目前，关系数据库广泛应用于各个行业，是构建管理信息系统，存储及处理关系数据不可缺少的基础软件。物联网应用技术导论第4章物联网服务与管理技术2、非关系数据库1）实时数据库实时数据库（RTDB－RealTimeDataBase）是数据库系统发展的一个分支，是实时系统和数据库技术相结合的产物。实时数据库对数据的实时性要求比较高，因而实时、高效、稳定是实时数据库最关键的指标。目前，实时数据库已广泛应用于电力、石油石化、交通、冶金、军工、环保等行业，是构建工业生产调度监控系统、指挥系统、生产实时历史数据中心的不可缺少的基础软件。物联网的数据采集之后必须要有一个可靠的数据仓库，而实时数据库可以作为支撑海量数据的数据平台。物联网应用技术导论第4章物联网服务与管理技术2）NoSQL数据库NoSQL也被认为是NotOnlySQL的简写，是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL不使用SQL作为查询语言，而是使用如文档型的、列存储、图型数据库等方式存储数据的模型。物联网应用技术导论第4章物联网服务与管理技术与传统的关系型数据库相比，NoSQL数据库的存储数据方式发生了变化：例如，当需要存储发票的数据时，在传统的关系数据模型中，需要设计表的结构，然后使用服务器端语言将其转化为实体对象，再传递到用户端；而在NoSQL中，只需要保存发票数据。NoSQL不需要预先设计表和结构就可存储新的数值。物联网应用技术导论第4章物联网服务与管理技术NoSQL数据库拥有三“高”特征：（1）Highperformance（满足对数据库高并发读写的需求）（2）HugeStorage（满足对海量数据的高效率存储和访问的需求）（3）HighScalability&&HighAvailability（满足对数据库的高可扩展性和高可用性的需求）。NoSQL数据库能够满足物联网应用的大数据的需求，将会随着物联网应用的发展展现新的应用和发展空间。物联网应用技术导论第4章物联网服务与管理技术3、关系数据库和实时数据库的选择实时数据库比关系型数据库更能胜任海量并发数据的采集、存储。面对越来越多的数据，关系型数据库的处理响应速度会出现延迟甚至假死，而实时数据库不会出现这样的情况。对于仓储管理、标签管理、身份管理等数据量相对比较小，实时性要求低的应用领域，关系型数据库更加适合。智能电网、水域监测、智能交通、智能医疗等将来面临海量并发，对实时性要求极高的应用领域，实时数据库具有更多的优势。试点型工程阶段时，需要采集点较少，关系型数据库可以替代实时数据库。应用范围越来越广泛，采集点就会相应的增多，实时数据库是最好的选择。物联网应用技术导论第4章物联网服务与管理技术4.4.2数据融合与数据挖掘1、数据融合及目标数据融合是一种数据处理技术，指将多种数据或信息进行处理得出高效且符合用户需求的数据的过程。它是利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合的一种信息处理技术。数据融合类似人类和其他动物对复杂问题的综合处理，比如在辨别一个事物的时候，通常会综合各种感官信息，包括视觉、触觉、嗅觉和听觉等。物联网应用技术导论第4章物联网服务与管理技术数据融合一般有数据级融合、特征级融合、决策级融合等层次的融合。（学生成绩统计表）（1）数据级融合：直接在采集到的原始数据上进行融合，是最低层次的融合，它直接融合现场数据，失真度小，提供的信息比较全面。（2）特征级融合：先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理，这一级的融合可实现信息压缩，有利于实时处理，属于中间层次的融合。（3）决策级融合：在高层次上进行，根据一定的准则和决策的可信度做最优决策，以达到良好的实时性和容错性。物联网应用技术导论第4章物联网服务与管理技术2、数据挖掘概念、过程（1）基本概念数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取潜在的、事先未知的、有用的、能被人理解的有用信息和知识的数据处理过程。数据挖掘的数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用。被挖掘的数据可以是结构化的关系数据库中的数据，半结构化的文本、图形和图像数据等。数据挖掘是决策支持和过程控制的重要支撑手段之一。物联网应用技术导论第4章物联网服务与管理技术（2）数据挖掘过程数据挖掘过程一个反复迭代的人机交互和处理过程，主要包括数据预处理、数据挖掘和对数据挖掘结果的评估与表示三个阶段：①数据预处理阶段数据准备：了解领域特点，确定用户需求。数据选取：从原始数据库中选取相关数据或样本。数据预处理：检查数据的完整性及一致性，消除噪声等。数据变换：通过投影或其他操作减少数据量。物联网应用技术导论第4章物联网服务与管理技术②数据挖掘阶段确定挖掘目标：确定要发现的知识类型。选择算法：根据确定的目标选择合适的数据挖掘算法。数据挖掘：运用所选算法，提取相关知识并以一定的方式表示。③知识评估与表示阶段模式评估：对数据挖掘步骤中发现的模式（知识)进行评估。知识表示：呈现所挖掘的知识。物联网应用技术导论第4章物联网服务与管理技术3、物联网的数据挖掘数据挖掘时决策支持和过程控制所采用重要技术手段，是物联网中重要的一环。在物联网中进行数据挖掘已经从传统意义上的数据统计分析、潜在模式发现与挖掘，转向成为物联网中不可缺少的工具和环节。物联网应用技术导论第4章物联网服务与管理技术（1）物联网的计算模式物联网一般有两种基本计算模式，即物计算模式和云计算模式。物计算模式基于嵌入式系统，强调实时控制，对终端设备的性能要求较高，系统的智能主要表现在终端设备上。云计算模式以互联网为基础，目的是实现资源共享和资源整合，其计算资源是动态、可伸缩、虚拟化的。云计算模式通过分布式的方式采集物联网中的数据，系统的智能主要体现在数据挖掘和处理上，需要较强的集中计算能力和高带宽，但终端设备比较简单。物联网应用技术导论第4章物联网服务与管理技术（2）两种模式的选择物计算模式：对于要求实时高效的数据挖掘，物联网任何一个控制端均需要对瞬息万变的环境实时分析、反应和处理，需要物计算模式和利用数据挖掘结果。基于云计算模式：以海量数据挖掘为特征的应用需要进行数据质量的控制，如多媒体、多格式数据的存储与管理等。物联网应用技术导论第4章物联网服务与管理技术（3）数据挖掘的应用物联网数据挖掘分析应用通常都可以归纳为预测和寻证分析两大类。预测（Forecasting）：主要用在（完全或部分）了解现状的情况下，推测系统在近期或者中远期的状态。例如：①在智能电网中，预测近期扰动的可能性和发生的地点；②在智能交通系统中，预测拥阻和事故在特定时间和地点可能发生的概率；③在环保体系中，根据不同地点的废物排放，预测将来发生生物化学反应产生污染的可能性。物联网应用技术导论第4章物联网服务与管理技术寻证分析（ProvenanceAnalysis）：当系统出现问题或者达不到预期效果时，分析它在运行过程中哪个环节出现了问题。例如：（1）在食品安全应用中，一旦发生质量问题，需要在食品供应链中寻找相应证据，明确原因和责任；（2）在环境监控中，当污染物水平超标时，需要在记录中寻找分析原因。物联网应用技术导论第4章物联网服务与管理技术通过植入土壤或暴露在空气中的传感器监控土壤性状和环境状况；数据通过物联网传输到远程控制中心，可及时查询当前农作物的生长环境现状和变化趋势，确定农作物的生产目标；通过数据挖掘的方法还可以知道环境温度湿度和土壤各项参数等因素是如何影响农作物产量的，如何调节它们才能够最大限度地提高农作物的产量等。数据挖掘在精准农业中的应用示例：物联网应用技术导论第4章物联网服务与管理技术4.5物联网信息安全与隐私保护据权威估计，到2020年全世界的智能物体（Smartthings）有近500亿连接到网络中去，物联网通过感知与控制，将物联网融入到我们的生活、生产和社会中去，物联网的安全问题不容忽视。如果忽视物联网的安全问题，我们的隐私会由于物联网的安全性薄弱而暴露无遗，从而严重影响我们的正常生活。因此在发展物联网的同时，必须对物联网的安全隐私问题更加重视，保证物联网的健康发展。物联网应用技术导论第4章物联网服务与管理技术具体地讲，物联网的安全主要有如下四个特点：1、物联网的设备、节点等无人看管，容易受到操纵和破坏。物联网的许多应用可以代替人完成一些复杂、危险和机械的工作，物联网中设备、节点的工作环境大都是无人监控。因此攻击者很容易接触到这些设备，从而对设备或其嵌入其中的传感器节点进行破坏。攻击者甚至可以通过更换设备的软硬件，对它们进行非法操控。例如，在远程输电过程中，电力企业可以使用物联网来远程操控一些变电设备。由于缺乏看管，攻击者可轻易地使用非法装置来干扰这些设备上的传感器。如果变电设备的某些重要参数被篡改，其后果将会极其严重。4.5.1物联网安全的特点物联网应用技术导论第4章物联网服务与管理技术2、信息传输主要靠无线通信方式，信号容易被窃取和干扰。物联网在信息传输中多使用无线传输方式，暴露在外的无线信号很容易成为攻击者窃取和干扰的对象，对物联网的信息安全产生严重的影响。例如攻击者可以通过窃取感知节点发射的信号，来获取所需要的信息，甚至是用户的机密信息并可据此来伪造身份认证，其后果不堪设想。物联网应用技术导论第4章物联网服务与管理技术3、出于低成本的考虑，传感器节点通常是资源受限的。物联网的许多应用通过部署大量的廉价传感器覆盖特定区域。廉价的传感器一般体积较小，使用能量有限的电池供电，其能量、