搜索
第7章机器学习机器学习的定义和发展历史机器学习的主要策略与基本结构归纳学习决策树学习2013/10/311决策树学习类比学习解释学习知识发现增强学习7.1机器学习—机器学习的定义和发展历史什么是机器学习？Simon（1983）：学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作。2013/10/312Minsky(1985)：学习是在我们头脑中（心里内部）进行有用的变化。学习是一种具有多侧面的现象。学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。7.1机器学习—机器学习的定义和发展历史基本形式知识获取和技能求精。学习的本质就是获取新的知识。包括物理系统和2013/10/313行为的描述和建模，构造客观现实的表示。——知识获取通过实践逐渐改造机制和认知技能。例：骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。——技能求精基本形式知识获取的本质可能是一个自觉的过程，7.1机器学习—机器学习的定义和发展历史2013/10/314其结果是产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复地实践来实现的。7.1机器学习—机器学习的定义和发展历史机器学习方法在大型数据库中的应用称数据挖掘。数据挖掘的应用：除零售业外；金融业，银行分析历史数据，构建信用分析、诈骗检测、股票市场等的应用模型；制造业，学习模型用于优化、控制以及故障检测；医学领制造业，学习模型用于优化、控制以及故障检测；医学领域，学习程序用于医疗诊断；电信领域，通话模式的分析用于网络优化和提高服务质量；科学研究领域，物理学、天文学及生物学的大量数据处理。机器学习使用实例数据或过去的经验，训练计算机以优化某种性能标准。2013/10/315为什么要研究机器学习？人工智能主要是为了研究人的智能，模仿其机7.1机器学习—机器学习的定义和发展历史2013/10/316人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。在这个过程中必然会问道：“人类怎样做才能获取这种特殊技能(或知识)？”。.......….7.1机器学习—机器学习的定义和发展历史为什么要研究机器学习？.......….现在的人工智能系统还完全没有或仅有很有限的2013/10/317学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。.......….7.1机器学习—机器学习的定义和发展历史为什么要研究机器学习？………..未来的计算机将有自动获取知识的能力，它们直2013/10/318未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取得知识等局限性。7.1机器学习—机器学习的定义和发展历史实现的困难：预测难：学习后知识库发生了什么变化，系统功能的变化的预测。2013/10/319能的变化的预测。归纳推理：现有的归纳推理只保证假，不保证真。演绎推理保真。而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。机器目前很难观察什么重要、什么有意义。2009年图灵奖得主ChuckThacker•以太局域网的发明者之一•世界是第一台激光打印机发明者之一•发明了世界上第一部上网计算机2013/10/3110•微软研究院第四位获得图灵奖•比尔·盖茨曾毫不掩饰地表达对他的敬意并说道：“就对计算机科学的贡献而言，我想不出有谁能够抵得上ChuckThacker。”•2010年，在第12届二十一世纪计算机大会上在上海召开。•2012年“21世纪的计算大会“在天津举行ChuckThacker的“21世纪的计算”大会演讲://v.youku.com/v_show/id_XNDY2NTg3NTA0.html·(RickRashid)#21微软首席研究官里克·雷斯特(RickRashid)博士在#21世纪的计算大会#上展示了跨越语言,沟通无碍的语音机器翻译实时演示(SpeechtoSpeechTranslation).里克博士一边讲述英文,系统就将英文同声传译成中文.该系统融合了语音识别和文本翻译等技术,并且包含了个性化的语音合成.2013/10/3111热烈时期---50年代中~60年代中研究内容---神经系统模型和决策理论研究目标---自组织自适应系统研究方法---不断修改系统的控制参数，改进系统的执行7.1机器学习—机器学习的定义和发展历史2013/10/3112研究方法---不断修改系统的控制参数，改进系统的执行能力多停留在理论和硬件上。这些元件类似于神经元，他们实现简单的逻辑功能。………7.1机器学习—机器学习的定义和发展历史冷静时期---60年代中~70年代中研究内容---符号概念获取研究目标---模拟人类的概念学习过程2013/10/3113研究目标---模拟人类的概念学习过程研究方法---采用逻辑结构或图结构作为机器内部描述1965年左右，神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。当时，Samuel(1059-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。7.1机器学习—机器学习的定义和发展历史复兴时期---70年代中~80年代中研究内容---知识加强和论域专用学习研究目标---自动知识获取2013/10/3114研究目标---自动知识获取研究方法---建立大规模的知识库，实现知识强化学习此方法是70年代中期开始，沿着符号主义路线进行的。系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。7.1机器学习—机器学习的定义和发展历史稳步发展时期---86年以后研究内容---专门领域知识的增长型学习研究目标---联结机制的学习方法研究方法---结合各种学习方法的多种形式集成学习系统2013/10/3115研究方法---结合各种学习方法的多种形式集成学习系统机器学习已成为新的边缘科学并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。7.1机器学习—机器学习的定义和发展历史机器学习进入新阶段的重要表现：（近十年）结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起。特别是连接学习，2013/10/3116成学习系统的研究正在兴起。特别是连接学习，符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。7.1机器学习—机器学习的定义和发展历史机器学习进入新阶段的重要表现：（近十年）机器学习与人工智能各种基础问题的统一性观点正在形成。例如：学习与问题求解结合进行，知2013/10/3117正在形成。例如：学习与问题求解结合进行，知识表达便于学习的观点产生了通用智能系统SOAR的组块学习。类比学习与问题求解结合的基于案例学习已成为经验学习的重要方向。7.1机器学习—机器学习的定义和发展历史机器学习进入新阶段的重要表现：（近十年）归纳学习的知识获取工具已在诊断分类性专家系统中广泛应用。连接学习在声图文识别中占优势。分析学习用2013/10/3118泛应用。连接学习在声图文识别中占优势。分析学习用于设计综合性专家系统。遗传算法与强化学习在工程控制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。7.1机器学习—机器学习的定义和发展历史机器学习进入新阶段的重要表现：（近十年）与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习研究会外，还有计算机2013/10/3119除每年一次的机器学习研究会外，还有计算机学习理论会议及遗传算法会议。7.2机器学习—机器学习的主要策略与基本结构机器学习系统的基本结构学习是建立理论、形成假设和进行归纳推理的过程。2013/10/3120整个过程包括：信息的存储、知识的处理两部分环境学习环节知识库执行环节7.2机器学习—机器学习的主要策略与基本结构机器学习的主要策略：按推理的多少机械学习和直接输入新知识（记忆学习）学习这不需要进行任何推理或知识转换，将知识直接装进机器中。2013/10/3121进机器中。示教学习（传授学习、指点学习）从老师或其它有结构的事物获取知识。要求学习者将输入语言的知识转换成它本身的内部表示形式。并把新的信息和它原有的知识有机地结合为一体。……….7.2机器学习—机器学习的主要策略与基本结构……….类比学习（演绎学习）学习者找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从2013/10/3122似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。示例学习（归纳学习）给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，使它适合于所有的正例且排除所有的反例。（目前研究较多的一种方法）……….7.2机器学习—机器学习的主要策略与基本结构研究目的希望得到通用的算法研究了解学习知识的模型、认知模型2013/10/3123研究了解学习知识的模型、认知模型解决实际问题的知识与系统，达到工程目标研究特点不可预测性7.2机器学习—应用实例学习关联性分类回归回归非监督学习增强学习2013/10/3124学习关联性购物篮分析•发现顾客所购商品之间的关联性：如果人们在购买了商品X时也通常买商品Y，而有一名顾客买了X却没买Y，则Y可能是潜在客户。我们可以实行打包销售策略。可能是潜在客户。我们可以实行打包销售策略。•条件概率P（Y|X），如果P（chips|beer）=0.7，我们可以得出规则：购买beer的顾客有70%也买chips。•估计P（Y|X，D），D是顾客的一组属性。对于Web门户网站入口问题，可以估计用户可能的点击的链接，预先下载这些网页，已取得更快的网页存取速度。2013/10/3125分类分类是一种监督学习•客户信息（2类）作为分类器的输入•利用以往的数据进行训练后，学系得到规则。分类器的任务就是将输入指派到其中一类。2013/10/3126非监督学习监督学习中，目标是学习从输入到输出的映射关系，其中输出的正确值已由知道这提供。而非监督学习得目标时发现输入数据中的规律。统计学中叫密度估计，一种方法就是聚类。叫密度估计，一种方法就是聚类。机器学习用在生物信息学中。RNA由DNA转录未来，蛋白质由RNA转换而来。DNA是碱基序列，蛋白质是氨基酸序列。比对是一个序列匹配问题。聚类用于学习结构域（表征了序列内部的结构或功能要素）。比如说，氨基酸是字母，蛋白质是句子，结构域就像单词，即特别意义、频繁出现在不通句子中的一串字母。2013/10/3127增强学习评估策略的好坏，从以往好的动作学列中学习，以便产生策略。游戏是很好的例子。单个移动并不重要，重要的是移动序列。在某种环境下搜寻目标位置的机器人导航也是增强学习的例子。2013/10/31287.3归纳学习归纳学习（inductivelearning）是研究最广的一种符号学习（symboliclearning）方法，它表示从例子设想出假设的过程。2013/10/3129一般的归纳推理结论只是保假的，而不是保真的。归纳学习可以分为有导师指导的示例学习和无导师指导的观察与发现学习。7.3归纳学习-示例学习（监督学习）概述50年代兴起的实例学习是归纳学习的一种。目前实例学习在某些系统中的应用已成为机器学习走向实践的先导。环境提供给系统一些特殊的实例，这些实例事先由施教者2013/10/3130环境提供给系统一些特殊的实例，这些实例事先由施教者划分为正例和反例。