基于Web的双语平行语料库自动获取系统

基于Web的双语平行语料库自动获取系统摘要：例如:进行统一中文网页编码,...我们通过观察统计发现在那些具有URL命名相似性的双语网站中,URL的pathname与base...对于对应的英文词ei在英文句子中存在多个的中文词cj...关键词：中文,词,中文词类别：专题技术来源：牛档搜索（Niudown.COM）本文系牛档搜索（Niudown.COM）根据用户的指令自动搜索的结果，文中内涉及到的资料均来自互联网，用于学习交流经验，作品其著作权归原作者所有。不代表牛档搜索（Niudown.COM）赞成本文的内容或立场，牛档搜索（Niudown.COM）不对其付相应的法律责任！基于Web的双语平行语料库自动获取系统1叶莎妮吕雅娟刘群中国科学院计算技术研究所智能信息重点实验室{yeshani,lvyajuan,liuqun,}ict.ac.cn摘要：利用互联网上存在的海量多语言文本资源，通过网页的内容分析和链接分析，实现了一个双语语料挖掘的自动获取系统。首先，介绍了系统框架和主要模块；其次，详细描述了各个模块的实现与创新技术；最后，给出下一步工作的展望。本系统为获取真实的中英平行语料库提供了有效的途经。关键词：双语语料;网页挖掘;平行网页ABilingualCorpusAutomaticAcquisitionSystemBasedonWebAbstract:ImplementedabilingualcorpusautomaticacquisitionsystembytakingadvantageofanabundanceofmultilingualcorpusintheWorldWideWeb,andanalyzingtheircontentandlinks.First,introducedsystemframeworkandmainmodules;second,describedeverymoduleandtechnologyinnovationsindetail.Aprospectforthenextstepwasgivenatlast.ThissystemprovidedaneffectivewayforachievingChinese-Englishparallelcorpus.Keywords:BilingualText;ParallelCorpora;WebMining;1.引言语料库的建设是统计学习方法的重要基础，近年来，语料库资源对于自然语言处理研究的巨大价值已经得到越来越多的认可。特别是双语语料库（BilingualCorpus），已经成为机器翻译、机器辅助翻译以及翻译知识获取研究不可或缺的重要资源。一方面，双语语料库的出现直接推动了机器翻译新技术的发展，像平行语料库为统计机器翻译的模型构建提供了必不可少的训练数据（e.g.,Brownetal.1990;Melamed2000;OchandNey2002），基于统计（Statistic-Based）和基于实例（Example-Based）等基于语料库的翻译方法为机器翻译研究提供了新的思路，有效改善了翻译质量，在机器翻译研究领域掀起了新的高潮。另一方面，双语语料库又是获取翻译知识的重要来源，从中可以挖掘学习各种细粒度的翻译知识，如翻译词典（e.g.,GaleandChurch1991;Melamed1997）和翻译模板，从而改进传统的机器翻译技术。此外，双语语料库也是跨语言信息检索（e.g.,DavisandDunning1995;Jian-YunNie,TREC8;），翻译词典编撰、双语术语自动提取以及多语言对比研究等的重要基础资源。双语平行语料库建设与获取存在着很大的困难，各国都投入了大量的人力、物力和财力，但是双语平行语料库的来源主要集中在政府报告、新闻法律等特定领域，不适合真实文本应用。同时，互联网上的大规模双语文本并且具有很好的时效性和覆盖性，这为双语平行语料库的获取提供了潜在的解决途径。研究基于Web的大规模双语平行语料库获取技术对于解决双语语料库获取难题，推动相关技术发展和实用化具有重要的意义。本文的目标就是建设一个语料库自动获取系统。收稿日期：2007-06-30返稿日期：2007-XX-XX基金项目：国家自然科学基金（60603095），国家自然科学基金（60573188）作者简介：叶莎妮，硕士研究生，主要研究方向为自然语言处理技术（[e-mail]）；吕雅娟，工学博士，主要研究方向为计算语言学与机器翻译；刘群，工学博士，主要研究方向为计算语言学与机器翻译2.背景介绍加拿大蒙特利尔大学的研究者聂建云开发的系统PTMiner（ParallelTextMiner，1999）：通过搜索引擎查找含有特定锚文本的网站构成双语候选网站，再依赖预先定义的语言的前后缀表，抽取出具有URL命名相似性的候选网页即如果某一URL含有一种语言的前后缀，则将这些前后缀替换为另一种语言的，构建出一个URL，如果这样构建出来的URL存在。则找到了一对候选网页对，最后再根据文本长度，网页的HTML标记结构，网页的语言等特征过滤掉候选网页中不平行的网页对。PTMiner系统在中英平行网页文本挑出几百对的中英平行网页对，经过人工的评价，有将近90%的准确率。获取到的英文文本有137M，中文文本有117M。美国马里兰大学的研究者Resnik开发的系统STRAND（StructuralTranslationRecognition,AcquiringNaturalData，2003）也是利用搜索引擎和定义的挑选候选网站的规则来得到双语候选网站。同PTMiner相比，STRAND再利用URL命名相似性来查找一个网站内的候选网页对时，采取在中、英URL中删去预先定义与语言相关的字符串的方式，如果去除语言相关的字串后，中、英URL相等，则说明当前的中英URL是一对候选双语平行网页。此外，STRAND更加细致深入的研究了平行网页在结构上具有的相似性，采用了更多的基于网页结构的特征来过滤掉候选平行网页中不是互为翻译的网页对。人工评估了大约400对的中英平行网页对，取得了98%的准确率和61%的召回率。STRAND系统获取到大约3，500对中英平行网页对。BITS（BilingualInternetTextSearch,MaandLiberman1999），下载指定域名下的所有网站作为候选网站，定义了一种计算中英网页内容之间相似度的计算方式即互翻译词占文本总词数的比例，来进行中英平行网页对的确定。澳大利亚莫纳什大学陈纪淞等人开发的PTI（TheParallelTextIdentificationSystem，2004）通过网页采集器下载了大量的双语网页之后，首先通过了文件名比较模型即根据URL命名的相似性来得到双语平行网页对，原理同PTMiner，在这一过程没有相应对齐链接的网页再通过一个文件内容分析模型，定义了计算网页文本内容之间的相似度计算方式，从而得到双语平行的网页对。PTI系统总共获取到193对的中英平行文本，其中180对是正确的，正确率为93%，召回率为96%。亚洲微软研究院的吴克等人开发的WPDE（WebParallelDataExtraction，2006）在利用搜索引擎获取候选网站时，不仅利用了锚文本还采用了图片的ALT信息。在根据URL命名相似性获取候选双语平行网页对时，采用将URL分成pathname和basename，pathname的配对查找上也利用预先定义的启发式字符串，在具体的查找时定义了一些匹配规则；basename的查找配对不用于前面系统采用的基于预先定义的字符串形式，而是基于改进的最小编辑距离算法，这样的方式经过试验证明取得了更好的效果。候选双语平行网页对的过滤时除采用了文本长度，网页html结构等特征，还引入了一个基于网页内容的特征即候选双语平行网页文本句子对齐的好坏。在同PTI同样的测试集合上，WPDE系统取得了97%的正确率与94%的召回率。3.系统框架本系统建立了一个基于Web的双语语料自动获取平台，能够自动获取文本级双语平行语料库和句子级的双语平行语料库。本系统主要获取中英平行网页文本，但是除了一些与具体语言相关的配置文件以外，采用的方法是不依赖具体语言的，可以很轻松的一致到其他的语言对上。整个系统如下图所示，由四个关键部分组成。图表1系统结构图3.1候选网站的获取候选网站为可能含有中英平行网页的网站，如果一个中文网页中含有以“English”、“Englishversion”等为锚文本或图片ALT信息的链接，或者一个英文网页中含有相应的以“中文”、“中文版”为锚文本或图片ATL信息的链接，则可以认为含有该网页的网站是一个候选网站。可以通过搜索引擎或指定特定的域来获取候选网站。识别候选网站的目的是要进一步将双语文本的获取限制在可能的网站上。在得到候选网站之后，利用已有的网页采集器Wget，下载了大量的双语网页3.2采集网页与预处理利用现有的网页采集器Wget下载候选网站内部的所有网页，再一系列的预处理操作，例如：进行统一中文网页编码，都转化为GB格式；网页语言识别，分为中文网页与英文网页；统一转化为小写格式等。3.3基于URL命名相似性获取候选中英网页通过观察可以发现相当一部分网站作者在URL命名时有一特点：会引入一些与特定语言相关的字符串，双语平行网页的URL只有语言相关的部分字符串不同，例如：“”与“”，并且语言相关的部分其中大部分是常见的，可以通过预先定义的，所以已有的系统都通过预先定义与特定语言相关的字符串集合或正则表达式。但是，同时存在着大量的双语网站，其URL命名虽然具有语言相似性，但不是通过预先定义可以发现这种规律。此外，也存在一些网站的在命名时，中文一侧的URL用的是完整的单词，而英文一侧对应的网页URL用的则是该单词的简写。可见，只要URL命名的相似性不涵盖在预先定义的集合中，那么已有的系统就无法处理。下面提出一种能够自动发现当前网站在双语网页命名时具有的特点，再进行候选双语平行网页对的获取，完全不需要预先定义语言相关的字符串集合。3.3.1根据URL命名相似性获取候选中英网页我们通过观察统计发现在那些具有URL命名相似性的双语网站中，URL的pathname与basename的相似性是不同的，应该将一个URL分为pathname和basename两部分，分别寻找当前网站中URL这两部分命名时的相似性，再进行查找候选平行网页对。例如：其中：“”为pathname，“index.html”为basename分别找出pathname和basename中语言相关的部分，分别生成pathname部分和basename部分的两组替换规则，依靠生成的pathname产生式与basename产生式来将中英URL配对，得到候选双语平行网页对。具体思想描述如下：1.pathname替换规则的生成a)基本思想将pathname看作由/str/组成字符串，每一个/str/是处理单元（字段），假设一个pathname中不存在重复的处理单元。获取pathname中符合以下规则的不同部分(可能是我们要的语言相关的部分）简记为：cpath:f/lang_c/l/,epath:f/lang_e/lf表示两个URL相同的前端部分l表示两个URL相同的后端部分lang_e，lang_c表示两个pathname中不同部分，为中间部分，可能含有多个字段。两个pathname可能存在多个这样的中间部分。b)替换规则定义符合上述规则的两部分字段（lang_c,lang_e）表示一处替换,两个pathname中的所有的替换组成一个产生式，多处替换以分号分隔。c