机器学习概述

中科院大学电子电气与通信工程学院叶齐祥雁栖湖园区，学园二楼，457房间，[e-mail]机器学习方法与应用提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议机器学习的定义通过机器学习的算法研究及其与具体问题的恰当结合，获得合适的模型；对于于一些工程应用Task，依赖于数学与经验ExperienceandMath，设计学习模型，提高算法的性能Studyingmodelsfromexistinginformationorfromobservation.依赖于对现存数据的学习或者观察获取新的推理模型的过程。ML是具体的实现方法：回归分析、SVM，NN,概率方法,聚类方法…提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议机器学习的目的分类（Classification、Clustering）身高1.15m，体重60kg的儿童健康么？如何将教室里的学生按爱好、身高划分为5类？预测（Regression、Prediction）如何预测中关村周边的房价？未来的股票市场走向？天气预报提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议机器学习的一般步骤*（input）输入（output）输出Algorithms(方法)Evaluating（评估）Concepts,instances,andfeaturesStatisticalmodeling,decisiontrees,miningassociationrules,linearmodels,instance-basedlearning,clustering,…Decisiontables,classificationrules,associationrules,instance-basedrepresentation,clusters…Trainingandtesting,predictingperformance,cross-validation,leave-one-out,boostrap,comparingdataminingmethods,countingthecost提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议样本输入的基本单元机器学习的输入是一系列样本（带表号/无标号），机器学习是要将这些样本分类、回归、关联或者聚类。每一个样本都是样本（样例）都有一系列特性多个样本及其特性构成一个矩阵，或者一张表，构成ML的基本输入每一个样本都有一系列固定的，事先确定的特征Eachindividual,independentinstancethatprovidetheinputtomachinelearningischaracterizedbyitsvaluesonafixed,predefinedsetoffeaturesorattributes.编号天气温度湿度风是否去打球1晴天炎热高弱不去2晴天炎热高强不去3阴天炎热高弱去4下雨适中高弱去5下雨寒冷正常弱去6下雨寒冷正常强不去7阴天寒冷正常强去8晴天适中高弱不去9晴天寒冷正常弱去14下雨适中高强不去数据特征化编号天气温度湿度风是否去打球1晴天25.560%3不去1125.50.630x1x2x3x4x5YXY（X,Y)（X1,Y1)（X2,Y2)（X3,Y3)…数据特征化（X,Y)数据特征化数据特征化数据特征化数据特征化（X1,Y1)（X2,Y2)（X3,Y3)…数据特征化2020/1/2018观察数据分布:集中趋势,差别和分布计算数据统计特性：median,max,min,outliers,variance,等.数据特征化数据标准化12{,...,,...|}iXxxxy()()()iiiiixminxxmaxxminx()iiiixxxx提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议机器学习：新一代计算机技术的浪潮MainframeMinicomputerWorkstationsPersonalcomputerSmartphones+CloudsUbiquitouscomputing+MachineLearning案例1:基于机器学习的化工生产数据预测模型指标平均误差平均误差控制在8%以内或者更低标准差在8%以内单数据预测时间普通PC机，预测时间小于0.001s时间复杂度要求非在线学习，复杂度要求低训练耗时，但是可以离线更新模型案例2:基于机器学习的文档分类是公司主页？是个人主页？还是学校网站？邮件过滤、搜索引擎、案例3:基于机器学习的目标识别训练样本（机器学习的输入）训练样本（机器学习的输入）测试样本测试样本案例3:基于机器学习的目标识别弱监督的多形态的高清航拍图像目标检测识别案例3:基于机器学习的目标识别DemoLPR://shitu.baidu.com/语音识别案例4:智能交互Kinect交互DemoGoogleGlasses机器学习：新一代计算技术的浪潮深度学习带来了机器学习的新浪潮，推动“大数据＋深度模型”时代的来临，以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度学习面临的一系列难题，人工智能的梦想不再遥远。机器学习：新一代计算机技术的浪潮从浅层学习到深度学习-Lecun机器学习：新一代计算机技术的浪潮从浅层学习到深度学习-Lecun}|{1nRwwHx2xix1wio,t机器学习：新一代计算机技术的浪潮从浅层学习到深度学习-LecunG.Hinton：(A)Thetwodimensionalcodesfor500digitsofeachclassproducedbytakingthefirsttwoprincipalcomponentsofall60,000trainingimages.(B)Thetwo-dimensionalcodesfoundbya784-1000-500-250-2autoencoder.Foranalternativevisualization,see(8).深度学习的应用人工智能机器人与自动化智能交通模式识别智慧城市与家居提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算机技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议MachinelearningvsStatistics机器学习vs统计理论Ifforcedtopointoutasingledifferenceofemphasis,itmightbethatstatisticshasbeenmoreconcernedwithtestinghypotheses,whereasmachinelearninghasbeenmoreconcernedwithformulatingtheprocessofgeneralizationassearchthroughpossiblehypotheses.But,thisisagrossoversimplification:statisticsisfarmorethanhypothesistesting,andmanymachinelearningtechniquesdomotinvolveanysearchingatall.传统的统计理论侧重于假设检验，机器学习侧重寻找可泛化的模型数据挖掘监督学习无监督学习关联规则数据处理技术机器学习vs数据挖掘半/弱监督学习机器学习提纲机器学习的定义机器学习的目的机器学习的一般步骤机器学习的输入机器学习：新一代计算技术的浪潮机器学习vs.数据挖掘vs.统计学习机器学习的相关期刊会议机器学习的参考书、期刊与会议参考书：MachineLearning:aProbabilisticPerspectivebyKevinPatrickMurphy1.MachineLearning,TomM.Mitchell,Publisher:McGraw-HillScience.中文版：《机器学习》，TomMitchell，曾华军等（译），机械工业出版社，2003年.2．MachineLearning:aProbabilisticPerspectivebyKevinPatrickMurphy3．斯坦福大学，AndrewN.G.机器学习开放课程视频.参考资料：《计算机学报》《软件学报》《自动化学报》《电子学报》ACMTransactionsonKnowledgeDiscoveryfromDataIEEEInternationalconferenceonMachineLearningMachineLearningMachinelearningreviewIEEE,Trans.PatternAnalysisandMachineIntelligenceIEEETrans.NeuralNetwork