《数据挖掘》课程PPT_数据预处理解析

数据预处理第二章数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成为什么进行数据预处理？现实世界的数据是“肮脏的”——数据多了，什么问题都会出现不完整缺少数据值；缺乏某些重要属性；仅包含汇总数据；e.g.,occupation=有噪声包含错误或者孤立点e.g.Salary=-10数据不一致e.g.,在编码或者命名上存在差异e.g.,过去的等级：“1,2,3”,现在的等级：“A,B,C”e.g.,重复记录间的不一致性e.g.,Age=“42”Birthday=“03/07/1997”数据为什么会变“脏”？不完整数据的成因数据收集的时候就缺乏合适的值数据收集时和数据分析时的不同考虑因素人为/硬件/软件问题噪声数据（不正确的值）的成因数据收集工具的问题数据输入时的人为/计算机错误数据传输中产生的错误数据不一致性的成因不同的数据源违反了函数依赖性数据预处理为什么是重要的？没有高质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据e.g.重复值或者空缺值将会产生不正确的或者令人误导的统计数据仓库需要对高质量的数据进行一致地集成数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤数据质量的多维度量一个广为认可的多维度量观点：精确度完整度一致性合乎时机可信度附加价值可解释性跟数据本身的含义相关的内在的、上下文的、表象的以及可访问性数据预处理的主要任务数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果数据离散化数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要第二章数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成描述性数据汇总动机：为了更好的理解数据获得数据的总体印像识别数据的典型特征凸显噪声或离群点度量数据的中心趋势均值、中位数、众数（模）、中列数度量数据的离散程度四分位数、四分位数极差、方差等度量的分类度量可以分为三类：分布式度量(distributivemeasure)：将函数用于n个聚集值得到的结果和将函数用于所有数据得到的结果一样比如：count()，sum()，min()，max()等代数度量(algebraic)：可以通过在一个或多个分布式度量上应用一个代数函数而得到比如：平均值函数avg()（avg()=sum()/count()）整体度量(holistic)：必须对整个数据集计算的度量比如：median()，mode()，rank()度量中心趋势(1)算术平均值加权算术平均截断均值（trimmedmean）：去掉高、低极端值得到的均值e.g.计算平均工资时，可以截掉上下各2％的值后计算均值，以抵消少数极端值的影响中位数：有序集的中间值或者中间两个值平均整体度量；但是可以通过插值法计算近似值niixnx11niiniiiwxwx11cflfnLmedianmedian))(2/(1度量中心趋势(2)众数（Mode，也叫模）：集合中出现频率最高的值单峰的（unimodal，也叫单模态）、双峰的（bimodal）、三峰的（trimodal）；多峰的（multimodal）对于适度倾斜（非对称的）的单峰频率曲线，可以使用以下经验公式计算众数)(3medianmeanmodemean对称VS.倾斜的数据对称与正倾斜、负倾斜数据的中位数、均值和众数度量数据的离散度（1）最常用度量：极差、五数概括（基于四分位数）、中间四分位数极差和标准差极差（range）：数据集的最大值和最小值之差百分位数(percentile)：第k个百分位数是具有如下性质的值x：k%的数据项位于或低于x中位数就是第50个百分位数四分位数：Q1(25thpercentile),Q3(75thpercentile)中间四分位数极差(IQR)：IQR=Q3–Q1孤立点：通常我们认为：挑出落在至少高于第三个四分位数或低于第一个四分位数1.5×IQR处的值度量数据的离散度（2）五数概括:min,Q1,Median,Q3,max盒图：数据分布的一种直观表示方差和标准差方差s2：n个观测之x1,x2...xn的方差是标准差s是方差s2的平方根标准差s是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用所有观测值相同则s＝0，否则s0方差和标准差都是代数度量niniiiniixnxnxxns1122122])(1[1)(1盒图——示例盒图：数据分布的一种直观表示，在盒图中：端点在四分位数上，使得盒图的长度是IQR中位数M用盒内的线标记胡须延伸到最大最小观测值该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图分店1中位数$80Q1:$60Q3:$100使用盒图的数据离散的可视化描述基本统计类描述的图形显示——直方图常用的显示数据汇总和分布的方法：直方图、分位数图、q-q图、散布图和局部回归曲线直方图：一种单变量图形表示方法将数据分布划分成不相交的子集或桶，通常每个桶宽度一致并用一个矩形表示，其高度表示桶中数据在给定数据中出现的计数或频率分位数图一种观察单变量数据分布的简单有效方法显示所有的数据，允许用户评估总的情况和不寻常情况的出现绘出了分位数信息设xi是递增排序的数据，则每个xi都有相对应的fi，指出大约有100fi％的数据小于等于xi分位数－分位数图（Q-Q图）对着另一个单变量的分位数，绘制一个单变量分布的分位数允许用户观察是不是有从一个分布到另外一个分布的迁移散布图确定两个量化的变量之间看上去是否有联系、模式或者趋势的最有效的图形方法之一散布图中的每个值都被视作代数坐标对，作为一个点画在平面上易于观察双变量数据在平面上的分布loess曲线loess曲线为散布图添加一条平滑的曲线，以便更好的观察两个变量间的依赖模式Loess(localregression)意指“局部回归”，为了拟合loess曲线，需要两个参数：平滑参数α，被回归拟合的多项式的阶λ第二章数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成数据清理业界对数据清理的认识“数据清理是数据仓库构建中最重要的问题”—DCIsurvey数据清理任务填写空缺的值识别离群点和平滑噪声数据纠正不一致的数据解决数据集成造成的冗余空缺值数据并不总是完整的例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入引起空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时，有些数据应为得不到重视而没有被输入对数据的改变没有进行日志记载空缺值要经过推断而补上如何处理空缺值忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属性缺少值的百分比变化很大时，它的效果非常差。人工填写空缺值：工作量大，可行性低使用一个全局变量填充空缺值：比如使用unknown或-∞使用属性的平均值填充空缺值使用与给定元组属同一类的所有样本的平均值使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法噪声数据噪声：一个测量变量中的随机错误或偏差引起不正确属性值的原因数据收集工具的问题数据输入错误数据传输错误技术限制命名规则的不一致其它需要数据清理的数据问题重复记录不完整的数据不一致的数据如何处理噪声数据分箱(binning):首先排序数据，并将他们分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑等等回归通过让数据适应回归函数来平滑数据聚类：监测并且去除孤立点计算机和人工检查结合计算机检测可疑数据，然后对它们进行人工判断数据平滑的分箱方法price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34划分为（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱边界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，34聚类通过聚类分析检测离群点，消除噪声聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点回归xyy=x+1X1Y1Y1’数据清理做为一个过程(1)第一步：偏差检测使用元数据（e.g.每个属性的域、数值类型、依赖性、分布等）检查字段过载检查唯一性规则、连续性规则、空值规则使用偏差检查工具数据清理工具：使用简单的领域知识（e.g.邮编、拼写检查）检查并纠正数据中的错误数据审计工具：通过分析数据发现规则和联系及检测违反这些条件的数据来发现偏差数据清理做为一个过程(2)第二步：数据变换（纠正偏差）数据迁移工具：允许说明简单的变换ETL（提取/变换/装入）工具：允许用户通过GUI说明变换偏差检测和数据变换（纠偏）的迭代执行强调交互性的清理方法第二章数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成数据集成数据集成：将多个数据源中的数据整合到一个一致的存储中模式集成：整合不同数据源中的元数据e.g.A.cust_id=B.customer_no实体识别问题：匹配来自不同数据源的现实世界的实体e.g.BillClinton=WilliamClinton检测并解决数据值的冲突对现实世界中的同一实体，来自不同数据源的属性值可能是不同的可能的原因：不同的数据表示，不同的度量等等处理数据集成中的冗余数据集成多个数据库时，经常会出现冗余数据对象识别：同一属性或对象在不同的数据库中会有不同的字段名可导出数据：一个属性可以由另外一个表导出，如“年薪”有些冗余可以被相关分析检测到仔细将多个数据源中的数据集成起来，能够减少或避免结果数据中的冗余与不一致性，从而可以提高挖掘的速度和质量。BABAnBBAAr)1())((,分类（离散）数据的相关性分析Χ2(chi-square)测试Χ2的值越大，意味着两个变量相关的可能性越大期望值和观测值之间相差越大，值也将越大相关性不意味着因果关系e.g.我们发现一个地区的医院数和汽车盗窃数相关两者都必然的关联到第三个属性：人口ExpectedExpectedObserved22)(数据变换数据变换将数据转换或统一成适合挖掘的形式平滑：去除数据中的噪声聚集：汇总，数据立方体的构建数据泛化：沿概念分层向上汇总规范化：将数据按比例缩放，使之落入一个小的特定区间最小－最大规范化z-score规范化小数定标规范化属性构造通过现有属性构造新的属性，并添加到属性集中；以增加对高维数据的结构的理解和精确度数据变换——规范化最小－最大规范化z-score规范化最大最小值未知，或者离群点影响较大的时候适用小数定标规范化AAAAAAminnewminnewmaxnewminmaxminvv_)__('AAdevstandardmeanvv_'jvv10'其中，j是使Max(||)1的最小整数'v第二章数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成数据归约(1)为什么需要进行数据规约？数据仓库中往往存有海量数据在整个数据集上进行复杂的数据分析与挖掘需要很长的时间数