机器学习基础概述

研究方法概念学习资料机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。即从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。定义：“机器学习是对能通过经验自动改进的计算机算法的研究”。定义：“机器学习是一种让计算机在没有事先明确地编程的情况下做出正确反应的科学”。机器学习：定义机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。机器学习：应用机器学习：应用监督学习无监督学习机器学习算法统计分类回归分析聚类关联规则机器学习算法分类监督学习算法：统计分类监督学习算法：回归分析监督学习算法特征n目标训练集特征n目标特征n目标特征1特征1特征1………………监督学习算法：训练/学习身高发长抽烟性别1.881.4cm是男1.6615.3cm否女1.7822.6cm否女监督学习算法特征n测试集特征n特征n特征1特征1特征1………………结果目标目标目标监督学习算法：预测身高发长抽烟1.660cm是1.765.1cm否1.5514.4cm否性别男男女统计分类特征n测试集特征1……结果离散值监督学习算法：分类？回归？回归分析特征n特征1……连续值离散值连续值决策树KNN逻辑回归监督学习算法朴素贝叶斯神经网络监督学习算法随机森林SVM算法优化AdaBoost遗传算法监督学习无监督学习机器学习算法统计分类回归分析聚类关联规则机器学习算法分类无监督学习算法：聚类无监督学习算法：关联规则刮风降温降雨冰雹111011001000101001111100刮风降温降雨冰雹111011001000101001111100-监督-统计分类-无监督-关联规则无监督学习算法特征n训练集特征n特征n特征1特征1特征1………………无监督学习算法：训练/学习监督学习算法特征n测试集特征n特征n特征1特征1特征1………………结果目标目标目标无监督学习算法：预测无监督学习算法K-meansBIRCHApriori研究方法概念学习资料优化算法（变体/高级）基本算法程序实践（样本优化）容易理解的算法逻辑核心的数学原理特色/优缺点主要应用方向学习内容讲课要求学习内容和讲课要求其他特征提取特征1样本数据样本数据样本数据…n预处理特征样本集原始样本集机器学习算法训练预测输出验证集评价目标特征1…n目标特征1…n目标特征1…n训练集目标特征1…n目标特征1…n目标特征1…n验证集目标特征1…n目标特征1…n目标预测目标预测目标预测目标机器学习实施过程改进特征不显著怎么办？--人脑战胜电脑，分析并提取出样本的数据特征时间用户ID商品ID操作1月1日001001点击1月2日002002收藏1月3日001001购买1月3日001004点击1月5日002005点击1月6日002006购买特征提取特征1样本数据样本数据样本数据…n特征样本集原始样本集目标特征1…n目标特征1…n目标特征提取统计分析变换特征运算时间用户ID商品ID操作1月1日001001点击1月2日002002收藏1月3日001001购买1月3日001004点击1月5日002005点击1月6日002006购买用户ID商品ID点击次数操作日期购买日期00100123300100413NULL00200212NULL00200515NULL002006166噪声太多导致算法过拟合怎么办？--预处理，过滤噪声年龄肝脏大小体重肝硬化231060kg否78865kg否36555kg否341380kg否13743kg否461175kg是22863kg否29859kg否581071kg否特征1…n预处理特征样本集目标特征1…n目标特征1…n目标特征1…n训练集目标特征1…n目标特征1…n目标特征1…n验证集目标特征1…n目标预处理过滤采样划分集合特征1…n目标特征1…n目标特征1…n目标特征1…n目标特征1…n目标单一算法受局限怎么办？--算法迭代、融合--重新考虑新特征训练特征1…n训练集1目标特征1…n目标特征1…n目标算法融合：训练特征1…n训练集2目标特征1…n目标特征1…n目标机器学习算法A预测特征1…n训练集2预测目标特征1…n预测目标特征1…n预测目标目标目标目标输出算法融合：训练机器学习算法B特征1…n训练集2预测目标特征1…n预测目标特征1…n预测目标目标目标目标训练算法A训练算法融合算法B算法C算法D特征1…n验证集目标特征1…n目标特征1…n目标特征1…n训练集1目标特征1…n目标特征1…n目标特征1…n训练集2目标特征1…n目标特征1…n目标预测特征提取特征1样本数据样本数据样本数据…n预处理特征样本集原始样本集机器学习算法训练预测输出验证集评价目标特征1…n目标特征1…n目标特征1…n训练集目标特征1…n目标特征1…n目标特征1…n验证集目标特征1…n目标特征1…n目标预测目标预测目标预测目标机器学习实施过程改进统计分析特征提取算法原理融合方法样本构造理论实践算法选择优化算法（变体/高级）基本算法程序实践（样本优化）容易理解的算法逻辑核心的数学原理特色/优缺点主要应用方向学习内容讲课要求学习内容和讲课要求其他研究方法概念学习资料•机器学习，Mitchell著,机械工业出版社；•机器学习实战，PeterHarrington著；人民邮电出版社•统计学完全教程，(美)活塞曼著;科学出版社参考书•MachineLearningbyAndrewNg线上课程•数据集下载ODPS平台海量工业数据真实业务逻辑阿里巴巴大数据竞赛入围阿里星百万奖励双11线上实战