搜索
空间数据挖掘一、空间数据库概述空间数据库指的是地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件的形式组织在存储介质之上的。空间数据库的研究始于20世纪70年代的地图制图与遥感图像处理领域，其目的是为了有效地利用卫星遥感资源迅速绘制出各种经济专题地图。由于传统的关系数据库在空间数据的表示、存储、管理、检索上存在许多缺陷，从而形成了空间数据库这一数据库研究领域。而传统数据库系统只针对简单对象，无法有效的支持复杂对象（如图形、图像）。空间数据挖掘是指从空间数据库中抽取没有清楚表现出来的隐含的知识和空间关系，并发现其中有用的特征和模式的理论、方法和技术。空间数据挖掘和知识发现的过程大致可分为以下多个步骤：数据准备、数据选择、数据预处理、数据缩减或者数据变换、确定数据挖掘目标、确定知识发现算法、数据挖掘、模式解释、知识评价等，而数据挖掘只是其中的一个关键步骤。但是为了简便，人们常常用空间数据挖掘来代替空间数据挖掘和知识发现。空间数据挖掘与传统数据挖掘的不同表现在以下三个方面：传统数据挖掘处理的是数字和类，而空间数据则是一些更为复杂的数据类型；传统数据挖掘通常具有显式的输入，而空间数据挖掘的输入则常常是隐式的；在传统数据挖掘中，有一个至关重要的前提假设：数据样品是独立生成的。而这一假设在空间数据分析中是不成立的。事实上，空间数据之间是高度自关联的。二、空间数据挖掘的技术特点(一)数据挖掘算法具有高效、可测的特点数据库一般有数千个表和属性以及上百万个元组。数据库中千兆级别的数据已不再罕见，因为万亿级别的数量数据库已经腾空出世，取代了千兆级别的数据库。高维空间的海量数据库不但使搜索的空间变大，而且更容易发现模式存在的错误，所以充分利用相关知识去改变维数，降低维数，删除多余的数据，使数据挖掘的算法更具高效性。海量空间数据提供知识的算法要有可测性、高效性。多项式算法和指数算法没有实际的使用价值，但是若把算法换成以有限的数据做成特定的模型来获取合适的参数，实现的价值将会相当可观。(二)所挖掘的信息来源于各种数据用因特网、广域网、局域网与其他数据源组成一个结构复杂、空间庞大的数据库。数据进行挖掘主要是在各种语义的非格式化和格式化的数据中挖掘数据知识，这种数据挖掘可以弥补庞大、复杂的数据库所不能查询的数据知识。数据库本身已拥有分布广、规模大、数据挖掘方法复杂等特性，该特性的要求是要构建一种分布平行的数据挖掘技术。(三)具有集成功能一个发现系统的功能和方法如果没有足够多样，其能够使用的范围也必定会受到影响和限制。要想拓宽发现知识的领域，空间数据的挖掘系统就必须要把网络系统、知识管理库、数据管理库、专家系统、可视化系统、决策支持系统等技术集成到一起。(四)数据挖掘知识可以在多抽象层上交互预测数据库将会挖掘出何种知识，这是一件艰难的事情，因此作为高级的数据查询挖掘系统必须要更深人地探寻更多有利的线索。数据挖掘具有的交互特点可以帮助用户及时定义出数据挖掘的需求，使数据挖掘的过程得到深化，并以不同的视觉机智地看待数据挖掘技术在多抽象层面上出现的结果。(五)用户的界面可以达到人机交互的效果空间数据的挖掘目的是要实现数据挖掘结果的准确性，并且要言简意赅，容易表达。用多角度、多视角的考察方式对知识进行探索发现，把带有图文的界面与高级语言有机结合起来，对数据的结果和要求进行表达。在当下，还有很多用户无法与知识发现工具和知识发现系统进行人机的交互，针对这种情况，可以选择数据库的演绎方法以及贝叶斯法去发现知识，进而实现用户界面与人进行交互的效果。(六)数据挖掘的安全性和私有性数据挖掘的过程中，通常会以一种全方位、多角度、多层面的视觉去看待数据，这往往会对数据挖掘的安全性和私有性产生严重影响。探究、分析数据挖掘时出现的数据不合法人侵等现象，可以对数据库的安全方法进行合理改进，以此来保护信息，防止信息被泄露出去。(七)对不同的数据进行处理各种数据库之间是存在有关系、有联系的，所以要清楚地分析数据库之间的关系，从而有效地执行对数据库的科学挖掘。数据应用的领域各有不同，其所在的数据库也将有所不同，经常出现各种类型的复杂数据，同一个数据的挖掘系统没有办法实现对各种数据的处理观，要有针对性地对数据类型的特点，建立符合相关功能的数据挖掘系统。三、空间数据挖掘常用方法1.基于概率论的方法。这是一种通过计算不确定性属性的概率来挖掘空间知识的方法，所发现的知识通常被表示成给定条件下某一假设为真的条件概率。在用误差矩阵描述遥感分类结果的不确定性时，可以用这种条件概率作为背景知识来表示不确定性的置信度。2.空间分析方法。指采用综合属性数据分析、拓扑分析、缓冲区分析、密度分析、距离分析、叠置分析、网络分析、地形分析、趋势面分析、预测分析等在内的分析模型和方法，用以发现目标在空间上的相连、相邻和共生等关联规则，或挖掘出目标之间的最短路径、最优路径等知识。目前常用的空间分析方法包括探测性的数据分析、空间相邻关系挖掘算法、探测性空间分析方法、探测性归纳学习方法、图像分析方法等。3.统计分析方法。指利用空间对象的有限信息和/或不确定性信息进行统计分析，进而评估、预测空间对象属性的特征、统计规律等知识的方法。它主要运用空间自协方差结构、变异函数或与其相关的自协变量或局部变量值的相似程度实现包含不确定性的空间数据挖掘。4.归纳学习方法。即在一定的知识背景下，对数据进行概括和综合，在空间数据库（数据仓库）中搜索和挖掘一般的规则和模式的方法。归纳学习的算法很多，如由Quinlan提出的著名的C5.0决策树算法、HanJiawei教授等提出的面向属性的归纳方法、裴健等人提出的基于空间属性的归纳方法等。5.空间关联规则挖掘方法。即在空间数据库（数据仓库）中搜索和挖掘空间对象（及其属性）之间的关联关系的算法。最著名的关联规则挖掘算法是Agrawal提出的Apriori算法；此外还有程继华等提出的多层次关联规则的挖掘算法、许龙飞等提出的广义关联规则模型挖掘方法等。6.聚类分析方法。即根据实体的特征对其进行聚类或分类，进而发现数据集的整个空间分布规律和典型模式的方法。常用的聚类方法有K-mean,K-medoids方法、Ester等提出的基于R—树的数据聚焦法及发现聚合亲近关系和公共特征的算法、周成虎等提出的基于信息熵的时空数据分割聚类模型等。7.神经网络方法。即通过大量神经元构成的网络来实现自适应非线性动态系统，并使其具有分布存储、联想记忆、大规模并行处理、自学习、自组织、自适应等功能的方法；在空间数据挖掘中可用来进行分类和聚类知识以及特征的挖掘。8.决策树方法。即根据不同的特征，以树型结构表示分类或决策集合，进而产生规则和发现规律的方法。采用决策树方法进行空间数据挖掘的基本步骤如下：首先利用训练空间实体集生成测试函数；其次根据不同取值建立决策树的分支，并在每个分支子集中重复建立下层结点和分支，形成决策树；然后对决策树进行剪枝处理，把决策树转化为据以对新实体进行分类的规则。9.粗集理论。一种由上近似集和下近似集来构成粗集，进而以此为基础来处理不精确、不确定和不完备信息的智能数据决策分析工具，较适于基于属性不确定性的空间数据挖掘。10.基于模糊集合论的方法。这是一系列利用模糊集合理论描述带有不确定性的研究对象，对实际问题进行分析和处理的方法。基于模糊集合论的方法在遥感图像的模糊分类、GIS模糊查询、空间数据不确定性表达和处理等方面得到了广泛应用。11.空间特征和趋势探侧方法。这是一种基于邻域图和邻域路径概念的空间数据挖掘算法，它通过不同类型属性或对象出现的相对频率的差异来提取空间规则。12.基于云理论的方法。云理论是一种分析不确定信息的新理论，由云模型、不确定性推理和云变换三部分构成。基于云理论的空间数据挖掘方法把定性分析和定量计算结合起来，处理空间对象中融随机性和模糊性为一体的不确定性属性；可用于空间关联规则的挖掘、空间数据库的不确定性查询等。13.基于证据理论的方法。证据理论是一种通过可信度函数（度量已有证据对假设支持的最低程度）和可能函数（衡量根据已有证据不能否定假设的最高程度）来处理不确定性信息的理论，可用于具有不确定属性的空间数据挖掘。14.遗传算法。这是一种模拟生物进化过程的算法，可对问题的解空间进行高效并行的全局搜索，能在搜索过程中自动获取和积累有关搜索空间的知识，并可通过自适应机制控制搜索过程以求得最优解。空间数据挖掘中的许多问题，如分类、聚类、预测等知识的获取，均可以用遗传算法来求解。这种方法曾被应用于遥感影像数据中的特征发现。15.数据可视化方法。这是一种通过可视化技术将空间数据显示出来，帮助人们利用视觉分析来寻找数据中的结构、特征、模式、趋势、异常现象或相关关系等空间知识的方法。为了确保这种方法行之有效，必须构建功能强大的可视化工具和辅助分析工具。16.计算几何方法。这是一种利用计算机程序来计算平面点集的Voronoi图，进而发现空间知识的方法。利用Voronoi图可以解决空间拓扑关系、数据的多尺度表达、自动综合、空间聚类、空间目标的势力范围、公共设施的选址、确定最短路径等问题。17.空间在线数据挖掘。这是一种基于网络的验证型空间来进行数据挖掘和分析的工具。它以多维视图为基础，强调执行效率和对用户命令的及时响应，一般以空间数据仓库为直接数据源。这种方法通过数据分析与报表模块的查询和分析工具（如OLAP、决策分析、数据挖掘等）完成对信息和知识的提取，以满足决策的需要。四、空间数据挖掘算法模型1、空间数据不确定性的MonteCarlo模拟根据不同空间数据的不确定性(误差)分布采用MonteCarlo模拟法进行不确定性模拟．本文中取用2002年中国37个主要大中城市的地理空间经济数据的位置数据和若干属性数据(距海洋的距离、人均GDP、人均年可支配收入和商品房均价)，采用MonteCarlo模拟法对它们进行不确定性模拟，根据不同空间对象的位置数据和不同属性数据的均值和中误差，分别得到不同空间对象的位置数和不同属性数据的1000组模拟数据。具体算法如下：1)确定每个待输入空间数据集的不确定性类型(位置数据的圆形正态模型，属性数据的一维正态模型)；2)取用依空间数据集分布的随机采样来代替原输入空间数据；3)对每一次实现，存储其结果；4)随机抽取l000组实验数据作为样本数据．这里，随机数发生器采用普雷斯等人(1996)推荐的随机数发生器ran2，随机向量的抽样方法采用著名的博克斯一马勒(Box-Muller)方法。2、基于不确定性空间数据的空间自相关度量几乎所有空间数据都具有空间自相关性，因此在处理地理区域或地带的离散数据时须考虑空间数据的空间自相关性。本文借用Voronoi和Delaunay图，结合距离标准来构建空间权重矩阵．普通的距离计算技术一般隐含地假设空间数据的位置是精确的．考虑到空间数据的不确定性，采用3种方法计算空间数据间空间自相关矩阵：中心法、最小法和最大法哺]．假设区域S中有／,／个位置不确定的点，第i个点P。的误差带用一个圆形Q。表示．具体算法如下：输入：区域S中的一组点的误差带Q一{Q。，Q。，⋯，Q)和邻域距离d输出：区域S中一组点的邻域图和空间自相关距阵步骤1：构造点集P的Voronoi多边形步骤2：对所有相邻的Voronoi多边形进行如下运算步骤2．1：计算d。。。。(C。，Cj)，d。。，(Qf，Q，)，d。i。(Qi，Q；)步骤2．2：如果dd。，则在邻域图中连接P。和Pi，叫i为1；否则叫i为0其中，d。为邻域距离；d⋯。，(Ci，C，)表示相邻误差带(Q：，Q，)质心之间的距离；d。。。(Q。，Q，)表示相邻误差带(Q，Q，)内空间数据之间的最大距离；drain(Q，Q，)表示相邻误差带(Q，Qi)内空间数据之间的最小距离．3、不确定性空间数据聚类算法传统的空间数据聚类算法是利用经典的聚类算法(如K—means，K—medoid)进行聚类．这种方法由于并未考虑空间数据的空间约束，其结果经常在地理位置上很混乱．此