机器学习与数据挖掘

机器学习与数据挖掘样本准备（2）2020年7月5日MachineLearningandDatamining2样本准备对象分割对象在文档中可能只占很小比例用整个文档提取的特征含有大量噪声特征与特征提取使用什么样的特征？如何计算？如何进行预处理？……样本选择正负样本数可能严重失衡（1:10，1:100）样本可能包含噪声2020年7月5日MachineLearningandDatamining3特征何为特征？Inpatternrecognition,featuresaretheindividualmeasurableheuristicpropertiesofthephenomenabeingobserved.Incomputervisionandimageprocessingtheconceptoffeatureisusedtodenoteapieceofinformationwhichisrelevantforsolvingthecomputationaltaskrelatedtoacertainapplication.2020年7月5日MachineLearningandDatamining4特征何为特征？特征：实体（或事物、概念……）区别于其它实体（事物、概念……）的独特的属性特征=特+征性质独特的特殊的有比较，才有独特、特殊2020年7月5日MachineLearningandDatamining5特征特征的属性独特性目标实体和非目标实体有不同的取值范围确定性特征，概率性特征可计算性以可接受的代价从目标实体采集数据并计算出来特征的成本特征的质量（噪声）2020年7月5日MachineLearningandDatamining6特征特征组的属性完备性可以完全区分目标实体和非目标实体必要性对区分目标实体和非目标实体是否必要独立性特征之间是否相关2020年7月5日MachineLearningandDatamining7特征特征的种类（应用意义上）多媒体特征（视觉、听觉特征）颜色、纹理、形状……频率、节奏……文字/关键字特征字频、词频……元数据特征目录名、链接、链接文字、日期……2020年7月5日MachineLearningandDatamining8特征提取何为特征提取？从原始数据计算出特征的数值（或模型）特征提取须考虑的问题可计算性特征提取时，数据采集往往已经完成，特征提取不具备采用不同数据采集手段的灵活性成本计算复杂度，吞吐率，延迟，人力开销……噪声很多多媒体特征提取准确率低2020年7月5日MachineLearningandDatamining9特征提取像素特征直接用像素的颜色值表示特征实现简单信息质量差仅包含单个像素的信息同时包含需要的信息和不需要的噪声难以表示全局信息后续分类和处理困难2020年7月5日MachineLearningandDatamining10特征提取颜色特征颜色是人眼非常敏感的特征如何提取和表示颜色特征？平均颜色把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均2020年7月5日MachineLearningandDatamining11特征提取颜色特征颜色矩如果把像素看成随机变量，则其分布特性可以由矩来描述一阶矩(均值)：二阶中心矩(标准差):三阶中心矩:维数低，易于计算信息量少，对噪声敏感NjijiPN11NjiijiPN1212])(1[NjiijiPN1313])(1[2020年7月5日MachineLearningandDatamining12特征提取颜色特征颜色直方图直方图：概率密度函数颜色：三维如何统计直方图？方法1：三维颜色直方图直方图的每个槽对应一组（R,G,B）矢量值RGB均0~255直方图有256*256*256=16M个槽图像像素数：704*576=405K,1920*1080=2M统计直方图需要使用较粗的量化一般量化成16级16*16*16=4096个槽维数仍然很高2020年7月5日MachineLearningandDatamining13特征提取颜色特征颜色直方图方法2：三个一维直方图对R、G、B三个颜色分别统计一个直方图不进一步量化：256+256+256=768维每种颜色量化成16级：16+16+16=48维优点：维数大大降低缺点：颜色之间的相关信息丢失在较独立的颜色空间统计（如：YUV，HSI）亮度统计一维直方图，色度统计二维直方图直方图的维数仍然较高2020年7月5日MachineLearningandDatamining14特征提取颜色特征聚类颜色直方图普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽维数高必须覆盖整个颜色空间精度差对颜色空间的机械分割为了在合理的维数内实现，颜色空间的划分很粗利用图像本身的像素进行聚类，用聚类中心作为直方图的槽不同图像的直方图各维没有统一的物理含义2020年7月5日MachineLearningandDatamining15特征提取纹理特征纹理：临近像素的变化趋势和模式一定尺度内的一种分布模式可以是固定的模式：如砖墙可以是概率的模式：如草地与像素的绝对颜色/亮度关系较小与颜色/亮度差异关系大2020年7月5日MachineLearningandDatamining16特征提取纹理特征灰度共生矩阵两个有固定空间关系的像素的联合概率密度函数空间关系01…25501…2552020年7月5日MachineLearningandDatamining17特征提取纹理特征灰度共生矩阵超高的维数空间关系有很多个每个空间关系有一个二维直方图在这些二维直方图上作“二次统计”以降低维数角二阶矩（能量）、对比度（惯性矩）、相关、熵、逆差矩等与人类视觉对纹理的心理感知不同2020年7月5日MachineLearningandDatamining18特征提取纹理特征Tamura纹理特征依据心理视觉特性定义的纹理特征计算准确率较差，信息量较少稀疏度对比度方向性线状性规则性粗糙度2020年7月5日MachineLearningandDatamining19特征提取纹理特征频率域的纹理特征纹理是“变化趋势和模式”在某个频率上有突出的特征利用频率变换表示纹理特征小波纹理特征对图像作小波变换计算小波的一阶矩和二阶矩作为纹理特征2020年7月5日MachineLearningandDatamining20特征提取纹理特征频率域的纹理特征局部傅立叶变换纹理特征在局部邻域(3x3,4x4,5x5…窗口)内作傅立叶变换，用傅立叶系数作为纹理特征Gabor变换频率空间中的局部区域特征2020年7月5日MachineLearningandDatamining21特征提取纹理特征频率域的纹理特征Gabor变换频率空间中取某个窗口内的系数来提取特征2020年7月5日MachineLearningandDatamining22特征提取形状特征面积(A)、周长(P)、质心(O)长度(L)、宽度(W)2020年7月5日MachineLearningandDatamining23特征提取形状特征矩形度：面积和最小外接矩形面积的比值长宽比：L/W圆度：欧拉数拓扑特征难以精确提取24PAe信息量小2020年7月5日MachineLearningandDatamining24特征提取形状特征轮廓的高维特征把轮廓坐标转换成一维复数序列一维复函数可以进行傅立叶变换，提取频率特征傅立叶描述子2020年7月5日MachineLearningandDatamining25特征提取文字特征文字的基本单位字/字母，词西方文字：字母并无显著语义中文：“字”接近于词字频早期中文处理技术及少数简单的中文处理应用词频及词频衍生特征大多数文字处理应用如何获得“词”?2020年7月5日MachineLearningandDatamining26特征提取分词（Tokenlize/Lexicon）输入：字符串例：“Friends,Romans,countrymen”例：“华东师范大学”输出：词（token）Friends华东Romans师范countrymen大学词经过后处理可以作为提取词频的依据就这么简单？2020年7月5日MachineLearningandDatamining27分词问题Finland’scapitalFinland?Finlands?Finland’s?Hewlett-Packard1个词？2个？State-of-the-art？thehold-him-back-and-drag-him-away-maneuver?L'ensemble1个词？2个？L?L’?Le?不同的系统使用不同的方法2020年7月5日MachineLearningandDatamining28分词各种数字形式3/12/91Mar.12,199155B.C.B-52MyPGPkeyis324a3df234cb23e100.2.86.144+86-21-622350892020年7月5日MachineLearningandDatamining29分词基本算法正则式匹配例：普通的英文日期[0-9]{1,2}“/”[0-9]{1,2}“/”[0-9]{2,4}例：普通的英文单词[a-zA-Z]+一个西欧语言的分词可能需要数十条正则式使用flex或re2c可以方便地开发英语的分词flex程序例：请从主页下载练习：用re2c写一个结构更好的英语分词程序不用提交2020年7月5日MachineLearningandDatamining30分词问题SanFrancisco1个词？2个？SanFrancisco-LasVegas德语复合名词不加空格Lebensversicherungsgesellschaftsangestellter‘lifeinsurancecompanyemployee’中文和日文没有空格“华东师范大学软件学院”分词是一个大问题！2020年7月5日MachineLearningandDatamining31分词基于词典的分词华盛顿有意见分歧意见分歧华盛顿……词典华盛顿/有/意见/分歧2020年7月5日MachineLearningandDatamining32分词基于词典的分词“感冒清胶囊”感冒/清/胶囊感冒清/胶囊感冒感冒清……最大匹配原则：匹配词典中最长的词2020年7月5日MachineLearningandDatamining33分词基于词典的分词“有意见分歧”有意/见/分歧有/意见/分歧“中国人民”中国人/民中国/人民正向匹配反向匹配对中文：反向匹配准确率较高2020年7月5日MachineLearningandDatamining34分词基于词典的分词“实在感觉英雄无用武之地方能拍案而起”实在/感觉/英雄无用武之地/方/能/拍案而起实在/感觉/英雄/无用/武/之/地方/能/拍案而起双向匹配：正反两个方向分别分词，选择词数较小的结果优点：准确率较高缺点：慢2020年7月5日MachineLearningandDatamining35分词基于词典的分词其它语言中的应用日语、朝鲜语：相同算法即可英语：识别空格分隔的词（如：LasVegas）把空格分隔的每部分当作“字”即可德语：识别连写的复合名词把字母当作“字”即可练习：实现基于词典的英语常用复词检测不需要提交2020年7月5日MachineLearningandDatamining