搜索
2020/3/91数据挖掘工具--WEKA教程WEKA简介…….2数据集……..11数据准备…..24数据预处理…36分类……………63聚类………….184关联规则……225选择属性……244数据可视化…253知识流界面…2752020/3/921、WEKA简介WEKA的全名是怀卡托智能分析环境（WaikatoEnvironmentforKnowledgeAnalysis）weka也是新西兰的一种鸟名是新西兰怀卡托大学WEKA小组用Java开发的机器学习/数据挖掘开源软件。其源代码获取2005年8月，在第11届ACMSIGKDD国际会议上，怀卡托大学的WEKA小组荣获了数据挖掘和知识探索领域的最高服务奖，WEKA系统得到了广泛的认可，被誉为数据挖掘和机器学习历史上的里程碑，是现今最完备的数据挖掘工具之一。WEKA的每月下载次数已超过万次。2020/3/93WEKA软件主要特点它是集数据预处理、学习算法（分类、回归、聚类、关联分析）和评估方法等为一体的综合性数据挖掘工具。具有交互式可视化界面。提供算法学习比较环境通过其接口，可实现自己的数据挖掘算法WEKA的界面2020/3/94探索环境命令行环境知识流环境算法试验环境2020/3/95Explorer环境2020/3/96把“Explorer”界面分成8个区域区域1的几个选项卡是用来切换不同的挖掘任务面板。Preprocess（数据预处理）：选择和修改要处理的数据。Classify（分类）：训练和测试分类或回归模型。Cluster（聚类）：从数据中聚类。Associate（关联分析）：从数据中学习关联规则。SelectAttributes（选择属性）：选择数据中最相关的属性。Visualize（可视化）：查看数据的二维散布图。区域2是一些常用按钮。包括打开、编辑、保存数据及数据转换等功能。例如,我们可以把文件“bank-data.csv”另存为“bank-data.arff”。区域3中可以选择（Choose）某个筛选器（Filter），以实现筛选数据或者对数据进行某种变换。数据预处理主要就利用它来实现。2020/3/97区域4展示了数据集的关系名、属性数和实例数等基本情况。区域5中列出了数据集的所有属性。勾选一些属性并“Remove”就可以删除它们，删除后还可以利用区域2的“Undo”按钮找回。区域5上方的一排按钮是用来实现快速勾选的。区域6中显示在区域5中选中的当前某个属性的摘要。摘要包括属性名（Name）、属性类型（Type）、缺失值（Missing）数及比例、不同值（Distinct）数、唯一值（Unique）数及比例对于数值属性和标称属性，摘要的方式是不一样的。图中显示的是对数值属性“income”的摘要。数值属性显示最小值（Minimum）、最大值（Maximum）、均值（Mean）和标准差（StdDev）标称属性显示每个不同值的计数2020/3/98区域7是区域5中选中属性的直方图。若数据集的最后一个属性（这是分类或回归任务的默认目标变量）是类标变量（例如“pep”），直方图中的每个长方形就会按照该变量的比例分成不同颜色的段。要想换个分段的依据，在区域7上方的下拉框中选个不同的分类属性就可以了。下拉框里选上“NoClass”或者一个数值属性会变成黑白的直方图。2020/3/99区域8窗口的底部区域，包括状态栏、log按钮和Weka鸟。状态栏（Status）显示一些信息让你知道正在做什么。例如，如果Explorer正忙于装载一个文件，状态栏就会有通知。在状态栏中的任意位置右击鼠标将会出现一个小菜单。这个菜单给了你两个选项：MemoryInformation--显示WEKA可用的内存量。Rungarbagecollector--强制运行Java垃圾回收器，搜索不再需要的内存空间并将之释放，从而可为新任务分配更多的内存。Log按钮可以查看以weka操作日志。右边的weka鸟在动的话，说明WEKA正在执行挖掘任务。2020/3/910KnowledgeFlow环境2020/3/9112、WEKA数据集WEKA所处理的数据集是一个.arff文件的二维表2020/3/912表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。竖行称作一个属性（Attribute），相当于统计学中的一个变量，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之间的一种关系(Relation)。上图中一共有14个实例，5个属性，关系名称为“weather”。WEKA存储数据的格式是ARFF（Attribute-RelationFileFormat）文件，这是一种ASCII文本文件。上图所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的“weather.arff”文件，在WEKA安装目录的“data”子目录下可以找到。@relationweather@attributeoutlook{sunny,overcast,rainy}@attributetemperaturereal@attributehumidityreal@attributewindy{TRUE,FALSE}@attributeplay{yes,no}@datasunny,85,85,FALSE,nosunny,80,90,TRUE,noovercast,83,86,FALSE,yesrainy,70,96,FALSE,yesrainy,68,80,FALSE,yesrainy,65,70,TRUE,noovercast,64,65,TRUE,yessunny,72,95,FALSE,nosunny,69,70,FALSE,yesrainy,75,80,FALSE,yessunny,75,70,TRUE,yesovercast,72,90,TRUE,yesovercast,81,75,FALSE,yesrainy,71,91,TRUE,no2020/3/914WEKA数据文件WEKA存储数据的格式是ARFF（Attribute-RelationFileFormat）文件这是一种ASCII文本文件文件的扩展名为.arff可以用写字板打开、编辑ARFF文件文件中以“%”开始的行是注释，WEKA将忽略这些行。除去注释后，整个ARFF文件可以分为两个部分:第一部分给出了头信息（Headinformation），包括了对关系的声明和对属性的声明。第二部分给出了数据信息（Datainformation），即数据集中给出的数据。从“@data”标记开始，后面的就是数据信息了。2020/3/916关系声明关系名称在ARFF文件的第一个有效行来定义，格式为：@relation关系名关系名是一个字符串。如果这个字符串包含空格，它必须加上引号（指英文标点的单引号或双引号）。2020/3/917属性声明属性声明用一列以“@attribute”开头的语句表示。数据集中的每一个属性都有对应的“@attribute”语句，来定义它的属性名称和数据类型（datatype）：@attribute属性名数据类型其中属性名必须以字母开头的字符串。和关系名称一样，如果这个字符串包含空格，它必须加上引号。属性声明语句的顺序很重要，它表明了该项属性在数据部分的位置。例如，“humidity”是第三个被声明的属性，这说明数据部分那些被逗号分开的列中，第2列（从第0列开始）数据85908696...是相应的“humidity”值。其次，最后一个声明的属性被称作class属性，在分类或回归任务中，它是默认的目标变量。2020/3/918数据类型WEKA支持四种数据类型numeric数值型nominal-specification标称（nominal）型string字符串型date[date-format]日期和时间型还可以使用两个类型“integer”和“real”，但是WEKA把它们都当作“numeric”看待。注意：“integer”，“real”，“numeric”，“date”，“string”这些关键字是区分大小写的，而“relation”、“attribute”和“data”则不区分。2020/3/919数值型属性数值型属性可以是整数或者实数，但WEKA把它们都当作实数看待。例如：@attributetemperaturereal字符串属性字符串属性可以包含任意的文本。例如：@attributeLCCstring2020/3/920标称属性标称属性由nominal-specification列出一系列可能的类别名称并放在花括号中：{nominal-name1,nominal-name2,nominal-name3,...}。数据集中该属性的值只能是其中一种类别。例如属性声明：@attributeoutlook{sunny,overcast,rainy}说明“outlook”属性有三种类别：“sunny”，“overcast”和“rainy”。而数据集中每个实例对应的“outlook”值必是这三者之一。如果类别名称带有空格，仍需要将之放入引号中。2020/3/921日期和时间属性日期和时间属性统一用“date”类型表示，它的格式是：@attribute属性名date[date-format]其中date-format是一个字符串，来规定该怎样解析和显示日期或时间的格式，默认的字符串是ISO-8601所给的日期时间组合格式：“yyyy-MM-ddHH:mm:ss”数据信息部分表达日期的字符串必须符合声明中规定的格式要求，例如：@ATTRIBUTEtimestampDATEyyyy-MM-ddHH:mm:ss@DATA2011-05-0312:59:552020/3/922数据信息数据信息中“@data”标记独占一行，剩下的是各个实例的数据。每个实例占一行，实例的各属性值用逗号“,”隔开。如果某个属性的值是缺失值（missingvalue），用问号“?”表示，且这个问号不能省略。例如：@datasunny,85,85,FALSE,no?,78,90,?,yes2020/3/923稀疏数据有的时候数据集中含有大量的0值，这个时候用稀疏格式的数据存储更加省空间。稀疏格式是针对数据信息中某个对象的表示而言，不需要修改ARFF文件的其它部分。例如数据：@data0,X,0,Y,classA0,0,W,0,classB用稀疏格式表达的话就是@data{1X,3Y,4classA}{2W,4classB}注意：ARFF数据集最左端的属性列为第0列，因此，1X表示X为第1列属性值。2020/3/9243、数据准备数据获取直接使用ARFF文件数据。从CSV，C4.5，binary等多种格式文件中导入。通过JDBC从SQL数据库中读取数据。从URL（UniformResourceLocator）获取网络资源的数据。数据格式转换ARFF格式是WEKA支持得最好的文件格式。使用WEKA作数据挖掘，面临的第一个问题往往是数据不是ARFF格式的。WEKA还提供了对CSV文件的支持，而这种格式是被很多其他软件（比如Excel）所支持。可以利用WEKA将CSV文件格式转化成ARFF文件格式。2020/3/925数据资源WEKA自带的数据集C:\ProgramFiles\Weka-3-6\data网络数据资源