基于词语对齐融合提高统计机器翻译质量-PowerPoin

基于词语对齐融合提高统计机器翻译质量张春越哈尔滨工业大学机器智能与翻译研究室提纲•研究动机•两种词对齐结果分析•词对齐结果融合策略•实验设置与结果分析•结论与未来工作研究动机•词对齐是当前主流机器翻译技术的基础•目前广泛使用的是Giza++实现的IBMModel4对齐模型•近年来，研究者也相继提出不少其他的词对齐方法•不同的词对齐工具并没有绝对意义上的优劣之分•目前学术界对词对齐质量和机器翻译性能之间的关系还没有一个明确的共识本文切入点•给定两种差异较大的词对齐工具，在同一语料上进行词对齐获取•利用这两组不同词对齐的语料共同训练机器翻译模型，是否可以提高机器翻译性能？提纲•研究动机•两种词对齐结果分析•词对齐结果融合策略•实验设置与结果分析•结论与未来工作两种词对齐工具•IBM词对齐模型–GIZA++–两个方向–“grow-diag-final”合并为n-to-m对齐•HIT-MITLAB词对齐模型–统计和词典相结合–贪心算法实现SSMT07语料上对齐结果差异度分析•Step1:分别进行GIZA++词对齐(GIZA++双向一对多词对齐，然后采用“grow-diag-final”启发式策略获得双向词对齐，下文用“G”代称)和HIT-MITLAB词对齐(下文用“H”代称)；•Step2:对两组词对齐结果计算其并集(H∪G)、交集(H∩G)、差集(H-G,G-H)；•Step3:合并两组词对齐语料成为合并语料；•Step4:基于合并语料获取词汇概率表(lex.f2n,lex.n2f)；•Step5:根据词汇概率表lex.f2n,lex.n2f，计算各个集合的词对齐关系的平均翻译分值。•Step6:统计各种数据，分析两种词对齐信息是否具有明显差异。H、G词对齐集合统计•GIZA++获取了超过1千万的词对齐个数•而HIT-MITLAB只获得7百多万词对齐个数•H和G相同的词对齐数只占G本身的44.8%，占H本身67%•其他数据同样显示出，两者的差异非常明显词对齐集合HGH∩GH∪GH-GG-H词对齐数7,089,06110,675,7404,787,38112,977,4202,301,6805,888,359各个集合的词对齐翻译平均分数（1）•假设S为一个词对齐集合，(f,e)为任意一个词对齐，Plex_f2n和Plex_n2f为词汇翻译概率表，则有2(,)f2n(|)AvgScore(S)=()fnfeSPlexefsizeofS2(,)n2f(|)AvgScore(S)=()nffeSPlexfesizeofS各个集合的词对齐翻译平均分数（2）•两个均分都满足：H∩GHGH∪GG-HH-G•融合两者有希望获得性能上的改善词对齐集合HGH∩GH∪GH-GG-H0.2274340.1940500.3122550.1686800.0510110.0979450.2574960.2126170.3513930.1859390.0621960.099780f2nAvgScore(S)n2fAvgScore(S)H、G词对齐平均词翻译概率统计提纲•研究动机•两种词对齐结果分析•词对齐结果融合策略•实验设置与结果分析•结论与未来工作词对齐结果融合策略•IBM词对齐模型实验（G）•HIT-MITLAB词对齐模型实验（H）•数据融合实验（HGdc）–训练语料:将H与G两个训练语料直接合并•模型融合实验（HGmc）–将在H和G两组数据上分别训练得到的模型直接合并提纲•研究动机•两种词对齐结果分析•词对齐结果融合策略•实验设置与结果分析•结论与未来工作实验设置•实验平台–Moses•训练语料–SSMT07-811812句•开发集–SSMT07汉英开发集•测试集–SSMT07汉英测试集对比实验结果•HGdc比G提高了近0.7个BLEU值•减少了未登录词（UNK）的数目注：表中的PP代表后处理(PostProcessing)，包括去掉UNK，以及一些标点的前向粘结，如It's-it's,end.-end.。.H、G、HGdc、HGmc实验结果实验BLEUBLEUafterPPUNK数H18.2418.84463G19.6120.15477HGdc20.3420.83363HGmc19.3919.94363不同源语言短语数统计•这个短语数和UNK的个数直接相关•HGdc比G多出2,240个•这些短语使得HGdc的UNK个数比G的下降了114个各组实验中不同源语言短语数统计(用测试集进行过滤后)词对齐集合HGHGdc短语数21,34420,13322,373例子对比Test卵磷脂被医学专家视为老年性痴呆的克星，还可防治动脉粥样硬化。G卵磷脂medicalexpertsdeemedoldsenility,thepreventionandcontrolofkillersatheroscleroticarteries.HGdclecithinmedicalexpertsasoldsenilityofpreventionandcontrolof,atheroscleroticarteries.译文对比结果HGdc短语表中文短语英文短语，卵磷脂lecithinB复合体之一，卵磷脂的thatisaconstituentoflecithin…………卵磷脂lecithinHGdc短语表G的短语表中文短语英文短语，卵磷脂的一种要素thatisaconstituentoflecithin，卵磷脂的一种要素；thatisaconstituentoflecithin;卵磷脂的一种要素aconstituentoflecithin卵磷脂的一种要素isaconstituentoflecithin卵磷脂的一种要素；aconstituentoflecithin;卵磷脂的一种要素；isaconstituentoflecithin;之一，卵磷脂的一种要素thatisaconstituentoflecithinCWMT08测试集上的最终得分BLEUCE新闻0.2104EC新闻0.2425EC科技0.4620谢谢！