中文信息处理的资源建设

中文信息处理的资源建设苗传江2006年8月25日北京师范大学提纲1.语言资源的重要性及其类型2.语言资源建设是系统工程3.关于语料库建设4.知识库建设的基本问题5.国内外知识库建设项目简介6.HNC的知识库建设7.语言资源建设的其他若干问题1.语言资源的重要性及其类型重要性各项技术和应用都离不开语言资源语言资源制约语言信息处理的发展语言资源对语言信息处理的竞争有决定意义语言资源的类型对言语的记录对语言的描述系统是否可直接调用？基础型还是应用型？服务于理解还是生成？是否以语义描述为中心？2.语言资源建设是系统工程系统性理论方法不同，资源可能不同。资源建设应与系统实现密切配合。例如词表建设（收“词”原则和词表的组织）输入法软件的大“词”表“类推词”：鸡蛋、鸭蛋、鹌鹑蛋、恐龙蛋……“异构词”：松花蛋、茶叶蛋、荷包蛋；煎蛋、蒸蛋；鱼蛋、泥蛋、驴粪蛋；笨蛋、坏蛋、蠢蛋“临时词”：宇迷、保先专业词：越位、点球、边裁；铲射、吊射、扫射、垫射工程性目标明确可行规模达至应用注重实际效用“鸡蛋”应收入词表，而“鸭蛋”未必。3.关于语料库建设语料库有什么作用？应怎样加工语料库？何谓“大规模”？语料库怎么平衡？现代汉语与语料库建设的当务之急服务于现代汉语语言知识库建设文本属性标注语体、文体、体裁、领域、语域语料库工具的研发查找例句4.知识库建设的基本问题知识库：语言资源的子类面向NLU统计数据是知识库吗？系统可直接调用百科全书是知识库吗？NLU的基本目标是什么？语言模糊的消解意义的表示和映射NLU需要哪些知识？句法、语义、语用、常识、专业……？周杰伦在大陆的演出活动周杰伦将在大陆举办个人演唱会周杰伦个人演唱会将在北京首都体育馆举行巡回演出第一站，周杰伦在广州火爆亮相周杰伦前往西安参加义演活动北京举办扶贫义演，刘德华、周杰伦等港台明星出席各类知识分别起什么作用？重要性的差别主次之分：谁是统帅？各类知识之间的关系：分立还是协同？句法=语义=语用？Colorlessgreenideassleepfuriously.(Chomsky)所有的石头都死了。（邢公畹）一树红桃个个青，满天下雨半天星，三个和尚四面坐，不言不语唱真经。知识怎样表示？针对电脑的需要如何构建知识库系统？知识从哪里来？语言材料和语言能力怎样有效地利用知识？5.国内外知识库建设项目简介CycCycorp,Inc.,theleadingsupplierofformalizedcommonsense,basedinAustin,Texas,foundedbyDouglasLenatin1984Cyctechnology,theworld'slargestandmostcompletegeneralknowledgebaseandcommonsensereasoningengineCycorp'sgoal,tobreakthesoftwarebrittlenessbottleneckonceandforallbyconstructingafoundationofbasiccommonsenseknowledgeWhat’scommonsense?whatwenormallyconsiderconsensusknowledgeabouttheworld.Forexample,Cycknowsthattreesareusuallyoutdoors,thatoncepeopledietheystopbuyingthings,andthatglassesofliquidshouldbecarriedrightside-up.--Cycsoundslikepsych.Cycwillenableavarietyofknowledge-intensiveproductsandservices.Forexample,Cyccanfindthematchbetweenauser'squeryforpicturesofstrong,adventurouspeopleandanimagewhosecaptionreadssimplyamanclimbingacliff.Cyccannoticeifanannualsalaryandanhourlysalaryareinadvertentlybeingaddedtogetherinaspreadsheet.WhensomeonesearchesforBoliviaontheWeb,Cycknowsnottoofferafollow-upquestionlikeWherecanIgetfreeBoliviaonline?Cyc-likecommonsenseisaprerequisiteforhuman-levelNLU.FredsawtheplaneflyingoverZurich.FredsawthemountainsflyingoverZurich.It'sdifficulttoseehowtoresolvethissyntacticambiguityandrejectnonsensicalinterpretationswithoutrelyingonalargedatabaseofcommonsense.CycKnowledgeBaseconsistsoftermsandassertionswhichrelatethosetermsCycL,theCycrepresentationlanguage,isalargeandextraordinarilyflexibleknowledgerepresentationlanguage.Itisessentiallyanaugmentationoffirst-orderpredicatecalculus(FOPC).Example(#$implies(#$isa?A#$Animal)(#$thereExists?M(#$mother?A?M)))SizeAtthepresenttime,theCycKBcontainsnearlytwohundredthousandtermsandseveraldozenhand-enteredassertionsabout/involvingeachterm.WordNetAlexicaldatabasefortheEnglishlanguageEnglishnouns,verbs,andadjectivesareorganizedintosynonymsets,eachrepresentingoneunderlyinglexicalconcept.Differentrelationslinkthesynonymsets.whosedesignisinspiredbycurrentpsycholinguistictheoriesofhumanlexicalmemory.Synonymsetsexample{board,plank}and{board,committee}Whichcanserveasunambiguousdesignatorsofthetwomeaningsofboard.RelationsexamplesISA,HASA,Functions,e.g.,instrument(knife,cut)products(hole,dig)EDRElectronicDictionaryamachine-tractabledictionarythatcataloguesthelexicalknowledgeofJapaneseandEnglishdevelopedforadvancedprocessingofnaturallanguagebycomputerscomposedofelevensub-dictionaries,whichincludeaconceptdictionary,worddictionaries,bilingualdictionaries,etc.FrameNetTheBerkeleyFrameNetprojectiscreatinganon-linelexicalresourceforEnglish,basedonframesemanticsandsupportedbycorpusevidence.Theaimistodocumenttherangeofsemanticandsyntacticcombinatorypossibilities(valences)ofeachwordineachofitssenses,throughcomputer-assistedannotationofexamplesentencesandautomatictabulationanddisplayoftheannotationresults.HowNet（知网）董振东、董强一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。词条举例W_C=买主G_C=N[mai3zhu3]W_E=buyerG_E=NDEF={human|人:domain={commerce|商业},{buy|买:agent={~}}}6.HNC的知识库建设HNC知识库建设的三条根本原则：（1）把知识划分为概念、语言和常识三个层面，采取不同的知识表示策略和学习方式，并分别建库。（2）语言知识库建设应将服务目标首先定位于自然语言五重或三重模糊的消解。（3）词语知识库建设应以句类知识为核心。HNC知识库的构成语料库常识及专业知识库语言知识库概念知识库配合应用需要词语库、字库、小专家库概念基元库、句类知识库概念知识库概念基元库约3000个概念基元句类知识库57种基本句类及常见混合句类句类知识举例一般反应句X20J=X2B+X20+XBCX2B:p;pe.XBC=XBCB+XBCC=X10J语言知识库目前只做了现代汉语知识库词语知识库59988词，64538义项单字知识库3363字，6930义项与词语库相比，主要增加了构词知识词语知识库示例加入加入[1]v[1]v[2]v93919[2]v6420+v341[3]R112Y90*22J=RB2+RY+RB1[3]T2J=TA+T2+TB+T2C[4]^![4]!114;!113[5]RB2:p;pe.RB1:pe.[5]TB:Ph(j2).知识项：[1]概念类别[2]HNC符号[3]句类代码[4]格式代码[5]JK的知识[6]E的知识[7]角色及局部联想知识词语知识库演示语料库示例!0T21R411*22J+Cn~这天早上，||小学生们||都带着||自己的暑假作业，!31T2bJ+Cn~{!31T2bY9*11J+Re~按地区|集合}后，||整队走向||学校。!2P01J+Cn~8:30||举行||开学式，!0X20J校长||希望||{SP10*21J+Ms他们|~以新的精神状态|开始|新的学习生活}。!0T2bJ接着，他们||回到||各自的教室，!0D01J班主任||不仅要确认||{T2bS*11J全班同学|是否到齐}，!31T31J还要询问||{PS041*21J他们的暑假生活|过得|是否充实愉快}，!31T19J观察和检查||{X21J他们|是否做好了|新学期的学习[准备|]}，!31113T31Y30*21J然后向他们