第二章-算法技术让人工智能更聪明

《人工智能概论》第二章算法技术让人工智能更聪明主讲教师：XXX目录三人工智能算法的应用一机器学习二深度学习机器学习一情景导入讯飞翻译机AlphoGo人脸识别情景导入是什么让计算机或者软件如此精通人性？为什么让计算机或者软件如此造化出神？计算机或者软件还能做什么精妙绝伦的事情？人工智能人工智能算法人工智能的应用人类越来越需要人工智能！机器学习机器学习是实现人工智能应用的算法技术之一，也是人工智能算法技术研究领域的一个分支.因此，掌握‘机器学习’符合当下人才培养的时代需求.人工智能是未来的发展趋势，什么是人工智能？机器学习机器学习(一)机器学习的概念(二)机器学习的常见算法(三)强化学习机器学习（一）机器学习的概念机器学习是用数据或以往的经验来优化提升行为判断的计算程序简单的讲机器学习是一种能够赋予机器学习的能力，让它完成直接编程无法完成的功能的方法广义上讲机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法实践上讲机器学习的思想：机器学习是对人类在生活中学习成长的一个模拟。机器学习1.机器学习算法的技术分类有监督学习特点应用样本数据同时包含特征自变量(X)和目标变量(Y)。然后使用有监督学习算法训练得到从特征自变量输入到目标变量输出的映射函数：Y=f(X)。(1).分类问题如判断“垃圾邮件”或“非垃圾邮件.(2).回归问题如预测旅游人数机器学习1.机器学习算法的技术分类无监督学习特点应用样本数据只有特征自变量(X)，没有目标变量(Y)。算法在输入数据的过程中自己发现数据中的规律或模式。(1).关联问题关联规则学习目的是从数据中发现强规则。如通过分析数据发现，买了商品A的顾客有可能还会买商品B(2).聚类问题聚类方法可以发现数据内部的组群关系。如确定衣服尺码的大小。机器学习1.机器学习算法的技术分类半监督学习特点应用样本数据部分被标识，部分没有被标识。这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理地组织数据来进行预测。(1).分类问题(2).回归问题机器学习2.机器学习中的基础知识数据：机器学习算法的“学习资料”训练数据,用来训练模型的，是算法的学习资料验证数据，用来评估不同参数下模型效果，选择最优模型测试数据，用来测试模型效果，评估泛化能力训练集和验证集的划分方法有两种：“hold-out”和交互检验。训练数据是算法真正用来“学习”（拟合）的数据。机器学习2.机器学习中的基础知识数据：三者的关系机器学习2.机器学习中的基础知识目标函数：机器学习算法学习的方向意义机器学习算法通过学习输入数据，在求解目标函数的极值的过程中，训练得到算法参数的最优值，也即求解模型参数。举例：逻辑回归算法机器学习2.机器学习中的基础知识基于梯度的参数优化方法基于梯度的参数优化方法指利用导数求目标函数的极值（最值）机器学习2.机器学习中的基础知识超参数及超参数寻优参数：可以从数据中学习得到超参数：无法从数据里学习得到，需要靠人的经验来设定机器学习算法参数是由样本数据学习得到，不需要提前设置；机器学习参数通常作为最终模型的一部分保存；使用模型进行预测时，需要使用保存的参数。主要应用于模型参数的学习过程，无法从样本数据中直接学习；超参数通常使用启发式方法，在训练之前提前设置；超参数定义关于模型更高层级的概念，如模型复杂度等。机器学习2.机器学习中的基础知识超参数及超参数寻优超参数的寻优一般使用经验法则或通过反复试验的方法，来探寻算法超参数的最优值。超参数寻优的基本思路尝试不同的超参数组合来训练模型，通过比较不同组合得到的模型表现，最终确定最优的超参数组合。网格搜索（GridSearch）随机搜索（RandomSearch）机器学习3.机器学习的“学习”过程BDFACE首先准备用于机器学习算法的数据集，以二维矩阵形式表示，每行代表一条学习样本，每列代表一个变量，包括特征自变量（X）及目标变量（Y）选择一种机器学习算法并确定其目标函数；使用验证集评估不同超参数组合下的模型效果，选择最优模型；将数据集划分为训练集、验证集和测试集；设定不同的算法超参数组合，在每组确定的超参数下，使用训练集进行算法参数的寻优，得到该组超参数下的最优参数模型；使用测试集评估最优模型的效果，即最终模型的泛化能力。机器学习(一)机器学习的概念(二)机器学习的常见算法(三)强化学习机器学习（二）机器学习的常见算法决策树算法用树的结构来构建分类模型，每个节点代表着一个属性，根据属性的划分，进入这个节点的子节点直至叶子节点，每个叶子节点都代表一定的类别，从而达到分类的目的。概念如果要解决的问题需要模型具备很好的可解释性，可以考虑决策树算法。应用用于贷款审批的决策树模型举例决策树机器学习（二）机器学习的常见算法举例：用于贷款审批的决策树模型假设该模型通过年龄、学历、是否拥有房产等特征，对贷款申请人做出批准或拒绝的决策，如图2-5所示。输入的申请人特征会按照决策树的结构自上而下进行条件判断，最终分类到某个叶子节点，根据模型对该叶子节点定义的属性，来判断是否通过该申请人的贷款。如，某申请人年龄为40岁，但没有房产，若其月收入超过1.5万元，模型认定可以通过其贷款申请。决策树具有很好的可解释性，银行可以向被拒绝贷款的客户解释拒绝原因，例如该客户没有房产且月收入小于1.5万元机器学习（二）机器学习的常见算法集成学习就是将多个弱监督模型组合使用，以期得到一个更好更全面的模型。即便某一个弱模型得到了错误的预测，其他的弱分类器也可以将错误纠正回来。概念集成学习在任何规模的数据集上都有很好的应对策略。应用Bagging和Boosting举例集成学习算法利用Bootstrap方法从样本数据中采取有放回抽样，经过训练得到一个模型，如此重复进行M次，得到M个独立模型。最终的预测模型可以将所有M个模型的预测结果按照一定的方法综合使用。通常，分类问题采用M个模型预测投票的方式；回归问题采用M个模型预测平均的方式。机器学习（二）机器学习的常见算法举例：Bagging和Boosting()iaxBaggingBoosting随机森林是Bagging方法的一种。BGM是Boosting方法的一种。Boosting（提升方法）是一种可以用来减少有监督学习中偏差的机器学习算法。机器学习（二）机器学习的常见算法逻辑回归算法逻辑回归是一种基于线性回归的经典分类模型。核心思想：将线性函数的结果映射到了sigmoid函数中。公式如下：1()1ezyz1122nnzwxwxwxb其中：z是关于输入变量的线性回归。12,,nxxx机器学习（二）机器学习的常见算法神经网络是将多个sigmoid函数单元通过某种方式叠加形成的机器学习算法。概念输入层：输入变量隐藏层：sigmoid函数输出层：预测值结构‘隐藏层’多层的神经网络模型深度神经网络神经网络机器学习(一)机器学习的概念(二)机器学习的常见算法(三)强化学习机器学习（三）强化学习强化学习的概念概念强化学习是机器学习的一个重要分支，是受到行为主义心理学研究的启发，产生的一种交互式学习方法，又称为增强学习。算法思想让机器通过不断的尝试，从错误中学习，从一开始完全随机进行操作，到最后找到规律，学会达到目的的方法。基本要素环境，Agent，动作，反馈。机器学习（三）强化学习强化学习的概念A强化学习的输入数据是序列的、交互的并且还是有反馈（Reward）的。而有监督学习的输入数据是多样化的标签数据。输入数据不同B强化学习是一个决策模型，有监督学习更偏向模式挖掘。学习目标不同C强化学习是进程安排自己去学习，有监督学习是按照算法特点进行参数最优化求解。学习方式不同与监督学习的区别机器学习（三）强化学习强化学习的技术分类根据强化学习算法是否依赖模型(1)基于模型的强化学习算法（Model-based）(2)无模型的强化学习算法（Model-free）01根据策略的更新和学习方法不同(1)基于值函数的强化学习算法(2)基于直接策略搜索的强化学习算法02根据环境返回的回报函数是否已知(1)正向强化学习算法(2)逆向强化学习算法03深度学习二深度学习(一)算法基础(二)卷积神经网络(CNN)(三)循环神经网络(RNN)深度学习（一）算法基础感知器(决策模型)输入几个二进制并生成一个二进制的输出原理输入：123,,xxx权重：123,,阈值：V输出：31310,()1,iiiiiiwxVfxwxV一般，f(x)=1,表示‘是’，f(x)=0,表示‘否’。深度学习（一）算法基础感知器举例输入1231,1,0,xxx权重1236,2,阈值V=5,则加权和3185iiiwx可知()1fx深度学习（一）算法基础激活函数作用是将线性函数的结果映射后引入非线性的变换sigmoid函数1()1ezyz其中z是关于输入变量12,,nxxx的线性回归。即1122nnzwxwxwxbb是随机误差项。深度学习（一）算法基础激活函数作用是对输入数据x,保留正数且以0代替负数ReLU函数ReLU()max{,0}xx深度学习（一）算法基础激活函数作用是将输入数据x的值变换到-1和1之间tanh函数221etanh()1exxx深度学习（一）算法基础神经网络指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。前向传播计算神经网络参数梯度的方法反向传播深度学习(一)算法基础(二)卷积神经网络(CNN)(三)循环神经网络(RNN)深度学习（二）卷积神经网络架构LeNetAelxNetGoogleNet深度学习(一)算法基础(二)卷积神经网络(CNN)(三)循环神经网络(RNN)深度学习（三）循环神经网络架构LSTMGRU人工智能算法的应用三人工智能算法的应用生活中的人工智能人工智能算法的应用(一)智能推荐(二)计算机视觉(三)自然语言处理人工智能算法的应用（一）智能推荐概念：智能推荐是为用户推荐所需要物品的一种人工智能工具。目的对用户提供决策支持，例如买什么物品、听什么歌曲或读什么新闻。价值帮助用户解决信息过载的问题，做出最好的选择。方法基于内容的方法和协同过滤的方法。人工智能算法的应用（一）智能推荐基于内容的方法原则去识别那些有共同特征的项目（如电影、音乐等）。思路对某个用户已经评分过的项目分析其共同特点，然后将含有这些特点的新的项目推荐给该用户。局限‘内容分析限制’和‘过度专业化’人工智能算法的应用（一）智能推荐协同过滤的方法特点：使用其他用户对项目的评分信息思想：如果目标用户和某一用户在某些项目评分上很相似，那么目标用户对新项目的评分与该用户的评分也是相似的优点：解决基于内容的推荐方法存在的一些局限分类：基于邻域的方法和基于模型的方法基于模型的方法包括：括贝叶斯聚类、潜在语义分析（LDA）、最大熵、玻尔兹曼机、支持向量机（SVM）和奇异值分解（SVD）智能推荐方法的评判标准：准确率，效率，稳定性，合理性，意外发现率010203040506人工智能算法的应用（一）智能推荐智能推荐的应用场景例：网易云音乐娱乐——电影、音乐、游戏的推荐；人工智能算法的应用（一）智能推荐智能推荐的应用场景例：今日头条内容——个性化新闻、网页的推荐；人工智能算法的应用（一）智能推荐智能推荐的应用场景例：京东电子商务——消费者商品购买推荐；人工智能算法的应用（一）智能推荐智能推荐的应用场景例：旅游攻略服务——旅游服务推荐、专家咨询推荐等人工智能算法的应用（一）智能推荐智能推荐的应用场景例：抖音社交——社交网络中朋友的推荐和社会媒体网站中的内容推荐；人工智能算法的应用(一)智能推荐(二)计算机视觉(三)自然语言处理人工智能算法的应用（二）计算机视觉概念图像分类、目标检测、目标跟踪、语义分割和实例分割五个方向.用摄影机和计算机代替人眼对目标进行识别、跟踪和测量，并进一步做图形处理，使之成为更适合人眼观察或传送给仪器检测的图像。概念研究方向人工智能算法的应用图像分类判断