统计学习理论与应用教学大纲

教学大纲教学内容（48学时）：第一章引言(3学时)1.1统计学习的发展历史、研究目的和手段以及未来发展趋势1.2统计学习核心问题及基本解决方法1.3概率统计及凸优化基础回顾1.4课程整体设计方案及考核标准第二章无监督学习(3学时)2.1K-means聚类方法2.2高斯混合模型2.3EM算法2.4small-variance渐近分析2.5谱聚类方法3.6降维及主成分分析第三章有监督学习(6学时)3.1Ridge回归分析3.2模型选择与交叉验证3.3稀疏正则化3.4Logistic回归分析3.5支持向量机3.6表示定理与核方法第四章贝叶斯方法(6学时)4.1贝叶斯定理4.2指数族分布4.3广义线性模型4.3贝叶斯主题模型4.4狄利克雷混合模型4.5蒙特卡洛方法第五章学习理论(3学时)5.1Bais/Variance分解5.2集中不等式5.3PAC学习的基本理论与框架5.4PAC-Bayes学习的基本理论与框架第六章概率图模型(6学时)6.1条件独立性6.2贝叶斯网络6.3马尔可夫网络6.3基本推理与学习算法6.4变分推理方法6.5包含隐变量的推理与学习第七章结构化输出预测学习(3学时)7.1条件随机场7.2结构化支持向量机7.3结构化感知机7.4快速优化算法第八章数据表示学习(9学时)8.1稀疏表示与辞典学习8.2多层表示与深度学习8.3自适应表示的贝叶斯方法第九章大规模机器学习(6学时)9.1在线学习算法9.2随机算法9.3分布式学习算法课程实验（大作业）口头报告与讨论(3学时):实验名称：利用统计学习基本理论和方法解决一个应用问题，具体问题可以自选或者从备选问题中选取实验目的：综合运用课堂上学到的相关知识，将统计学习的基本思想、理论和方法应用于解决真实应用问题，培养学生的问题分析、模型设计、模型求解、实验验证等能力，深入理解统计机器学习在解决真实应用问题中的重要作用。实验内容：从机器学习经典问题（如聚类、分类、结构化输出预测、数据表示学习等）中选取一个具体问题，利用公开数据集，让学生将课堂上所学到的相关知识应用于真实问题的解决过程中，提出解决方法（如模型、算法等），并进行理论分析和实验验证，比较不同解决方案的差异，得出可靠的结论。实验环境：普通PC机或小规模集群机，任意操作系统和编程环境。实验评测：从模型或算法假设的合理性、逻辑性和完整性、模型输出与实验结果的合理程度、论文写作的条理性、以及报告演示的清晰性等多方面进行评测。