搜索
第9章自然语言理解9.1语言及其理解的基本概念9.2词法分析9.3语法分析9.4语义分析自然语言是指人类日常交流所使用的语言。自然语言理解主要研究如何使计算机能够理解和生成自然语言。自然语言理解既是人工智能研究较早的一个领域，同时也是现代计算机的一个必备特征。9.1语言及其理解的基本概念自然语言是音义结合的词汇和语法体系。词汇是语言的基本单位，它在语法的支配下可构成有意义和可理解的句子，句子再按一定的形式构成篇章等。语言词汇语法词熟语词法句法词素构形法构词法词组构造法造句法词汇是语言的基本单位。熟语是指一些词的固定组合，如汉语中的成语。词又由词素构成，词素是构成词的最小有意义的单位。如“学生”是由“学”和“生”这两个词素构成的。语法是语言的组织规律。词法是用词素或熟语构成词的规则，可分为构形法和构词法。构形法是指单数复数等。造句法是用词和词组构造句子的规则。语言词汇语法词熟语词法词素句法构形法构词法词组构造法语言词汇语法词熟语词法词素造句法句法构形法构词法词组构造法语言词汇语法词熟语词法词素主要任务是要找出词汇的各个词素，从中获得语言学信息，并确定单词的词义。以英语为例，其词法分析的基本算法如下：repeatlookforwordindictionaryifnotfoundthenmodifytheworduntilwordisfoundornofurthermodificationpossible其中，word是一个变量，其初始值就是当前词。例:用上述算法分析catches。解：其分析过程如下：catches词典中查不到catche修改1：去掉scatch修改2：去掉e可以看出，在修改2时就查到了catch。当然，这只是一个很简单的例子，完整的词法分析还应该包括复合词的切分等。9.2词法分析9.3句法分析句法分析是对句子和短语的结构进行分析，其最大单位是一个句子。分析的目的是要找出词、短语等的相互关系，以及他们在句子中的作用等，并用一种层次结构加以表达。这种层次结构可以是句子的成分关系，也可以是语法功能关系。9.3.1句法规则的表示方法9.3.2自顶向下与自底向上分析9.3.1句法规则的表示方法句子结构的表示一个句子是由各种不同的句子成分组成的。这些成分可以是单词、词组或从句。句子成分还可以按其作用分为主语、谓语、宾语、宾语补语、定语、状语、表语等。句子主语谓语动词宾语Hewroteabook如对句子：Hewroteabook可用树形结构来表示一个句子又是由若干个词类构成的，如名词、动词、代词、形容词等。若从句子的词类来考虑，一个句子也可用一棵树来表示，这种树称为句子的分析树。句子代词动词短语动词名词短语Hewroteabook上下文无关文法(Context-freeGrammars)是乔姆斯基提出的一种对自然语言语法知识进行形式化描述的方法。在这种文法中，语法知识是用重写规则表示的。作为例子，下面给出了一个英语的很小的子集（图8.4）。语句→句子终标符句子→名词短语动词短语动词短语→动词名词短语名词短语→冠词名词名词短语→专用名词冠词→the名词→professor动词→wrote名词→book动词→trains专用名词→Jack终标符→..这就是一个英语子集的上下文无关文法在该文法中，“语句”是一个特殊的非终极符，称为起始符。9.3.1句法规则的表示方法上下文无关文法(1/2)9.3.1句法规则的表示方法上下文无关文法(2/2)例利用上述上下文无关文法，给出如下语句的分析树。TheprofessortrainsJack.语句句子终标符动词短语名词短语Theprofessor.trains冠词名词动词专用名词名词短语Jack解：9.3.1句法规则的表示方法变换文法(1/2)上下文无关文法反映的仅是一个句子本身的层次结构和生成过程，而自然语言是上下文有关的。为此，乔姆斯基又提出了变换文法(TransformationalGrammar)。该文法认为，句子的结构有深层和表层两个层次。例如：Shereadmeastory和Shereadastorytome的表层结构不一样，但它们的深层结构则是一样的。再如，主动句和被动句也只是表层结构不同，其深层结构则是相同的。在变换文法中，句子深层结构和表层结构之间的变换是通过变换规则实现的。句子介词短语1句子名词短语1动词短语动词名词短语2名词短语2动词被动语态动词介词动词的过去分词名词短语1句子介词短语句子名词短语1动词短语动词名词短语2名词短语2动词被动语态把主动句变换为被动句的变换规则9.3.1句法规则的表示方法变换文法(2/2)例利用变换文法，将前述主动句变为被动句。解：其变换过程是：先从非终极符“句子”开始产生一个主动句：TheprofessortrainsJack然后再应用变换规则把它变为被动句：Jackistrainedbytheprofessor助动词介词动词的过去分词名词短语1句子介词短语句子名词短语1动词短语动词名词短语2名词短语2动词被动语态冠词名词专用名词上下文无关文法变换规则冠词名词TheprofessorJacktrainsJack专用名词istrainedbytheprofessorprofessor动词冠词名词Theprofessor名词短语2专用名词trains动词冠词名词TheprofessorJack名词短语2专用名词trains动词冠词名词Theprofessor9.3.2自顶向下与自底向上分析自顶向下分析法自顶向下分析:从起始符开始应用文法规则，一层一层地向下产生分析树的各个分支，直至生成与输入语句相匹配的完整的句子结构为止。例如:采用自顶向下分析方法对语句：TheprofessortrainsJack.进行分析的过程是：首先从起始符“语句”开始，正向运用规则：语句→句子终标符把分析树的根节点“语句”替换为它的两个子节点“句子”和“终标符”。然后再对新生成的节点“句子”使用规则：句子→名词短语动词短语将其替换为两个子节点“名词短语”与“动词短语”。对于“名词短语”，有两条规则可用，若按规则的排列顺序，则选用名词短语→冠词名词将“名词短语”被替换为“冠词”和“名词”，生成两个新节点。对“冠词”使用规则：冠词→The对名词使用规则：名词→professor语句句子终标符动词短语名词短语Theprofessor.trains冠词名词动词专用名词名词短语Jack9.3.2自顶向下与自底向上分析自底向上分析法自底向上分析，是以输入语句的单词为基础，首先按重写规则的箭头指向，反方向使用那些最具体的重写规则，把单词归并成较大的结构成分，如短语等，然后对这些成分继续逆向使用规则，直到分析树的根节点为止。例如：语句TheprofessortrainsJack为例，逆向使用具体规则后，可得到下图所示的部分分析树。继续逆向使用规则，一步步归并，直到根节点“语句”为止，最后即可生成完整的分析树。自顶向下分析方法与自底向上分析方法虽然思路清晰，但分析效率不高。为了提高分析效率，可采用自顶向下与自底向上相结合的分析方法。Jack名词短语专用名词trains动词冠词名词Theprofessor终标符.9.4句义分析语义分析就是要识别一句话所表达的实际意义。即弄清楚“干什么了”，“谁干的”，“这个行为的原因和结果是什么”以及“这个行为发生的时间、地点及其所用的工具或方法”等。9.4.1语义文法9.4.2格文法Thepaperreceivedtheprofessor语法结构上正确，但实际意义上错误第10章先进专家系统10.1专家系统概述10.2基于规则和基于框架的专家系统10.3模糊专家系统和神经网络专家系统10.4基于Web的专家系统10.5分布式和协同式专家系统10.6专家系统的开发10.1专家系统概述专家系统和先进专家系统(1/2)专家系统的概念专家系统是一种具有大量专门知识和经验的智能程序系统，它能运用领域专家多年积累的经验和专门知识，模拟领域专家的思维过程，解决该领域中需要专家才能解决的复杂问题。先进专家系统的概念先进专家系统是指在传统专家系统的基础上，引入一些新思想、新技术所产生的新型专家系统。先进专家系统的特性(1)并行分布式处理功能(2)多专家协同工作(3)更强的自学习能力(4)更新的推理机制(5)自纠错和自完善能力(6)先进的智能接口(7)更多的先进技术被引入和融合人机接口数据库推理机知识获取用户知识库领域专家AI专家解释模块图10.1专家系统的基本结构专家系统的基本结构尽管不同类型的专家系统的结构会存在一定差异，但其基本结构还是大致相同的。通常，一个专家系统的基本结构由知识库、数据库、推理机、解释模块、知识获取模块和人机接口6大部分所组成。如下图所示：10.1专家系统概述专家系统和先进专家系统(2/2)10.2基于规则和基于框架的专家系统基于规则的专家系统是指采用产生式知识表示方法的专家系统。它以产生式系统为基础，是专家系统开发中常用的一种方式，其最基本的工作模型如图10.2所示。在该模型中，规则库是基于规则专家系统的知识库；事实库也称综合数据库，是用来存放推理前的已知事实和推理过程中所得到的中间结论的；推理机是基于规则专家系统的推理机构。推理机规则库事实库基于框架的专家系统是指采用框架知识表示方法的专家系统。它以框架系统为基础，具有较好的结构化特性。这种专家系统的基本结构也与图10.1所示的专家系统类似，其主要区别在于知识库中知识表示和组织方式，综合数据库中事实的表示方式，推理机的推理方法和系统推理过程的控制策略等。模糊专家系统是指采用模糊技术来处理不确定性的一类专家系统。模糊专家系统的基本结构与传统专家系统类似，一般由模糊知识库、模糊数据库、模糊推理机、知识获取模块、解释模块和人机接口6部分所组成。如下图：人机接口模糊数据库模糊推理机模糊知识获取用户模糊知识库领域专家AI专家解释模块图10.3模糊专家系统的基本结构10.3模糊专家系统和神经网络专家系统模糊专家系统学习示例知识库学习算法知识获取用户推理机神经网络专家网络结构图10.4神经网络专家系统的基本结构解释器神经网络专家系统是神经网络与传统专家系统集成所得到的一种专家系统。它将传统专家系统的显式的知识表示方法变为基于神经网络及其连接权值的隐式知识表示，把基于逻辑的串行推理技术变为基于神经网络的并行联想和自适应推理。10.3模糊专家系统和神经网络专家系统神经网络专家系统基于Web的专家系统是Web数据交换技术与传统专家系统集成所得到的一种先进专家系统。它利用Web浏览器实现人机交互，基于Web专家系统中的各类用户都可通过浏览器访问专家系统。从结构上，它由浏览器、应用服务器和数据库服务器三个层次所组成，包括Web接口、推理机、知识库、数据库和解释器。Web浏览器数据库服务器普通用户领域专家AI专家图10.4基于Web专家系统的结构应用服务器解释器数据库知识库Web接口推理机10.4基于Web的专家系统这是两种不同的先进专家系统，它们各自的侧重点不一样。分布式专家系统强调并行和分布，而协同式专家系统则强调协作与协同。分布式专家系统分布式专家系统（DistributedExpertSystem,DES）是具有并行分布处理特征的专家系统，它可以把一个专家系统的功能分解后，分布到多个处理机上去并行执行，从而在总体上提高系统的处理效率。其运行环境可以是紧密耦合的多处理器系统，也可以是松耦合的计算机网络环境。协同式专家系统协同式专家系统（CooperativeExpertSystem,CES）亦称群专家系统，是一种能综合若干个相近领域或同一领域内不同方面专家系统相互协作、共同解决单个专家系统无法解决的更广领域或更复杂问题的专家系统。从结构上它们有一定的相似之处，它们都涉及到多个分专家系统。但在功能上却有较大差异，分布式专家系统强调的是功能分布和知识分布，它要求系统必须在多个节点上并行运行；而协调式专家系统强调的则是各专家系统之间的协同，各分专家系统可以在不同节点上运行，也可以在同一个节点上运行。10.5