统计学习基础

1统计学习基础卿来云中国科学院研究生院信息学院[e-mail]/[e-mail]2概率vs.统计概率：研究随机事件出现的可能性的数学分支，描述非确定性（Uncertainty）的正式语言，是统计推断的基础概率：一个事件或事件集合出现的可能性基本问题：给定以一个数据产生过程，则输出的性质是什么统计推断：处理数据分析和概率理论的数学分支，与数据挖掘和机器学习是近亲统计量：一个用以描述样本或总体性质的数值，如均值或方差基本问题：给定输出数据，我们可以得到该数据的产生过程的哪些信息3概率vs.统计数据产生过程观测到的数据概率统计推断4统计学习统计学≈根据数据进行推理的学科统计学习≈多元统计分析+计算统计学多元统计分析≈基于一个多元变量数据集，预测函数值计算统计学≈统计问题的计算方法(a.k.a.统计计算)+计算繁重的统计方法数据挖掘≈研究数据分析，尤其是大数据量/复杂的数据集5例：人脸形状（随机事件、概率与统计学习）ICCV2001:LearninginhomogeneousGibbsmodelsoffacesbyminimaxentropy1,1;,exp,,KjjjxypIFFIxyZF6统计学习的基本问题有监督/无监督学习有监督学习：回归、分类无监督学习：概率密度估计、聚类、降维增强学习模型选择模型评价：损失函数模型选择复杂性vs.推广性7课程目的为计算机专业的学生快速提供广泛的概率和统计背景概率统计统计学习为学习其他课程打好统计学基础机器学习数据挖掘模式识别人工智能…8数学基础的重要性研究数据分析必须打好概率和统计基础Usingfancytoolslikeneuralnets,boostingandsupportvectormachineswithoutunderstandingbasicstatisticslikedoingbrainsurgerybeforeknowinghowtouseaband-aid.9教材/参考书[Wasserman]LarryWasserman,AllofStatistics:AConciseCourseinStatisticalInference,SpringerPress,2004主要教材：内容很全，但有些部分篇幅略少，更偏向于从统计的角度讲述Chp1-13,Chp20，Chp23-24[HTF]TrevorHastie,RobertTibshirani,JeromeFriedman著，范明，柴玉梅，昝红英译，《统计学习基础—数据挖掘、推理与预测》，电子工业出版社，2004统计学习部分的主要教材：主要从机器学习的角度讲述Chp1-7[CB]GeorgeCasellaandRogerL.Berger，StatisticalInference，机械工业出版社，2002详尽的统计推断教材：可以作为[Wasserman]一书的补充Chp1-1010预修课程高等数学线性代数概率：有一定概率基础可复习任一本科概率论教材盛骤谢式千潘承毅，《概率论》，（浙江大学）编，高等教育出版社11课程内容（1）第一部分：概率基础知识概率理论随机变量及其概率分布常用的概率分布多元随机变量概率不等式和收敛性第二部分：统计基础知识统计基本知识非参数估计、Bootstrap、Jackknife参数估计假设检验12课程内容（2）第三部分：统计学习基本模型及理论统计学习概述线性回归概率密度估计核方法统计判决理论模型选择和模型评估第四部分：随机计算采样、MCMC(MonteCarloMarkovChain)13相关会议、刊物会议InternetConferenceonMachineLearningKDD(InternetConferenceonKnowledgeDiscoveryandDataMining)NIPS(NeuralInformationProcessingSystemsConference)IJCNN(InternetJointConferenceonNeuralNetworks)ArtificialIntelligenceandMachineLearningConferenceComputationalLearningTheory(COLT)…刊物MachineLearning(ML)JournalofMachineLearningResearchAnnalsofStatisticsDataMiningandKnowledgeDiscoveryIEEE-KDEIEEE-PAMIArtificialIntelligenceJournalofArtificialIntelligenceResearchComputationalIntelligenceNeuralComputationIEEE-NNResearch,InformationandComputation…14其他信息助教：杨涛[e-mail]课件网址作业和考试作业：40%非编程作业20%、编程作业（包括上机实验作业）20%每次作业留1-2周时间请按时交作业，鼓励讨论，但NOCOPY考试：闭卷期末考试：60%16其他课前预习课堂上预告下节课内容预习教材相应章节或相应的补充材料课后复习复习教材和课件，适当阅读课外材料下节课开始前，对上节课的内容都已经掌握讨论鼓励讨论：学得更快/更多、学习兴趣更高先独立解决问题，然后比较和讨论，最后提交的答案是自己的理解编写程序时，可以利用别人的代码，但需注明出处及自己的工作17作业从日常生活、学习或工作中找出1～2个与统计相关的有趣问题