统计机器学习概论

《视频编码与理解》课程(VideoCodingandContentUnderstanding)统计机器学习概论(IntroductiontoStatisticalMachineLearning)主讲教师：田永鸿北京大学数字视频编码技术与系统国家工程实验室北京大学《视频编码与理解》课程（No.04812102）为什么需要机器学习？美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展Machinelearningformsthecoreofmaypresent-dayAIapplicationsGaryAnthes,FutureWatch:AIcomesofage,北京大学《视频编码与理解》课程（No.04812102）3为什么数字媒体技术中需要机器学习？媒体处理媒体类型应用模式单机应用模式网络应用模式获取(创建)编辑管理传输检索描述展现说明编码统计学习与模式识别北京大学《视频编码与理解》课程（No.04812102）4机器学习示例SARSRiskAgeGenderBloodPressureChestX-RayPre-HospitalAttributesAlbuminBloodpO2WhiteCountRBCCountIn-HospitalAttributes北京大学《视频编码与理解》课程（No.04812102）5BooksandReferences主要参考书T.Hastie,R.Tibshirani,J.Friedman,“TheElementsofstatisticalLearning:DataMining,Inference,andPrediction”,2001,Springer-Verlag.其他参考书V.N.Vapnik,“TheNatureofStatisticalLearningTheory”,2nded.,Springer,2000.北京大学《视频编码与理解》课程（No.04812102）6提纲机器学习方法概述贝叶斯决策理论BayesianDecisionTheory常见统计学习方法机器学习的难题与挑战附录：1、参考资料2、代表性机器学习开发包介绍北京大学《视频编码与理解》课程（No.04812102）7一、统计学习方法概述北京大学《视频编码与理解》课程（No.04812102）8机器学习的发展机器学习=神经科学与认知科学+数学+计算北京大学《视频编码与理解》课程（No.04812102）平凡解问题James(19世纪末)：神经元相互连接McCulloch,Pitts(20世纪中期):“兴奋”和“抑制”Hebb(20世纪中期):学习律神经科学Barlow：功能单细胞假设Hebb：神经集合体假设Rosenblatt：感知机（1956）Rumelhart：BP（1986）PAC(Valiant1984)Schapire：弱学习定理（1990）Freund：AdaBoost（1996）线性不可分问题（Minsky1969）Vapnik：SVM（1991）有限样本统计理论线性空间表示？i.i.d问题一致性假设30年Widrow：Madline（1960）Samuel：符号机器学习机器学习研究历程？泛化理论王珏,机器学习研究回顾与趋势,2004.9北京大学《视频编码与理解》课程（No.04812102）学习系统的一般模型System……1x2xNx1y2yMy12,,...,Khhh12,,...,Nxxxx12,,...,Khhhh12,,...,KyyyyInputVariables:HiddenVariables:OutputVariables:北京大学《视频编码与理解》课程（No.04812102）11机器学习的基本问题和方法机器学习根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。机器学习问题的表示根据n个独立同分布观测样本确定预测函数f(x,w)。在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使预测的期望风险最小。环境学习环节知识库执行环节Simon的学习模型北京大学《视频编码与理解》课程（No.04812102）12学习问题的一般表示学习目标Givenani.i.d.l-samplez1,…,zldrawnfromafixeddistributionF(z)Forafunctionclass’lossfunctionsQ(z,),withinWewishtominimizetherisk,findingafunction*Inthecaseofequalrisk,itbecomestominimizetheerrorratio.相关概念损失函数lossfunction(L,Q)：theerrorofagivenfunctiononagivenexample风险函数riskfunctional(R)：theexpectedlossofagivenfunctiononanexampledrawnfromF(x,y)L:x,y,fLy,fx,Q:z,Lzy,fzx,*argminRRQz,dFz北京大学《视频编码与理解》课程（No.04812102）13学习问题的一般表示学习的目的在于使期望风险最小化。由于可利用的信息只有样本，期望风险往往无法计算。经验风险最小化归纳原则(TheEmpiricalRiskMinimization(ERM)InductivePrinciple)核心思想：用样本定义经验风险。Definetheempiricalrisk(sample/trainingerror):Definetheempiricalriskminimizer:Least-squaresandMaximum-likelihoodarerealisationsofERMRemp1lQzi,i1llargminRemp北京大学《视频编码与理解》课程（No.04812102）14ERM准则与统计学习理论的发展经验风险最小并不意谓着期望风险最小!!例子：神经网络的过学习问题。训练误差小并不总能导致好的预测效果.若对有限的样本来说学习能力过强，足以记住每个样本，此时经验风险很快就可以收敛到很小甚至零，但却根本无法保证它对未来样本能给出好的预测.需要建立在小样本情况下有效的学习方法小样本条件下的统计学习理论支持向量机(SVM)北京大学《视频编码与理解》课程（No.04812102）WhyLearningisDifficult?Givenafiniteamountoftrainingdata,youhavetoderivearelationforaninfinitedomainInfact,thereisaninfinitenumberofsuchrelations...thehiddentestpoints...15北京大学《视频编码与理解》课程（No.04812102）LearningasaSearchProblem16北京大学《视频编码与理解》课程（No.04812102）17三类基本的机器学习问题(1)模式分类问题：输出y是类别标号，两类情况下y={1,-1}，预测函数称作指示函数(IndicatorFunction)，损失函数定义见下式，使期望风险最小就是Bayes决策中使错误率最小。),(1),(0)),(,(wfywfywfyLxxx北京大学《视频编码与理解》课程（No.04812102）18三类基本的机器学习问题(2)回归问题：输出y是连续变量，它是x的函数，损失函数定义见下式:2),(-)),(,(wfywfyLxx北京大学《视频编码与理解》课程（No.04812102）19三类基本的机器学习问题(3)概率密度估计问题：根据训练样本确定x的概率分布p(x,w)，则损失函数可定义为:),(-log)),((wpwpLxx北京大学《视频编码与理解》课程（No.04812102）20统计学习的基本方法有监督/无监督学习有监督(Supervised)：分类、回归无监督(Unsupervised)：概率密度估计、聚类、降维半监督(Semi-supervised)：EM、Co-training其他学习方法增强学习(ReinforcementLearning)多任务学习(Multi-tasklearning)北京大学《视频编码与理解》课程（No.04812102）21有监督学习标定的训练数据训练过程：根据目标输出与实际输出的误差信号来调节参数典型方法全局：BN,NN,SVM,DecisionTree局部：KNN、CBR(Case-basereasoning)S(x)=0ClassAS(x)0ClassBS(x)=0ObjectsX2(area)(perimeter)X1ObjectFeatureRepresentationA11,A12,…,A1mA21,A22,…,A2m……An1,An2,…,AnmninstancemattributesOutput---C1---C2---…---…---CnTraining√√……√Taska1,a2,…,am---?北京大学《视频编码与理解》课程（No.04812102）22无监督学习不存在标定的训练数据学习机根据外部数据的统计规律（e.g.Cohension&divergence）来调节系统参数，以使输出能反映数据的某种特性。典型方法K-means、SOM….示例：聚类A11,A12,…,A1mA21,A22,…,A2m……An1,An2,…,AnmninstancemattributesOutput---C1---C2---…---…---CnXX……XTask北京大学《视频编码与理解》课程（No.04812102）半监督学习结合（少量的）标定训练数据和（大量的）未标定数据来进行学习典型方法Co-training、EM、Latentvariables….23A11,A12,…,A1mA21,A22,…,A2m……An1,An2,…,AnmninstancemattributesOutput---C1---?---…---…---Cn√X……√Taska1,a2,…,am---?北京大学《视频编码与理解》课程（No.04812102）24其他学习方法增强学习(ReinforcementLearning)：外部环境对输出只给出评价信息而非正确答案，学习机通过强化受奖励的动作来改善自身的性能。训练数据包含部分学习目标信息多任务学习：Learnsaproblemtogetherwithotherrelatedproblemsatthesametime,usingasharedrepresentation.学习机(LM)环境输入输出评价信息北京大学《视频编码与理解》课程（No.04812102）学习模型(1)单学习模型LinearmodelsKernelmethodsNeuralnetworksProbabilisticmodelsDecisiontrees……北京大学《视频编码与理解》课程（No.04812102）学习模型(2)模型组合组合多个“弱”学习模型来达到更优的性能1+11?Boosting：结合低性能学习模型来产生一个强大的分类器组Bagging：结合多个不稳定学习模型来产生稳定预测主动