基于译文加权的BLEU改进方法

基于译文加权的BLEU改进方法杨沐昀哈尔滨工业大学计算机学院机器智能与翻译研究室内容提要引言BLEU用于汉语译文性能的实证分析基于线性回归的BLEU改进实验与分析一、引言BLEU:机器翻译自动评价方法–基于N-gram精确率–2002年IBM提出目前采用最广泛忽略译文的个性信息–词性、连续正确译文长度基于译文加权BLEU改进二、BLEU方法及分析二、BLEU方法及分析1、传统的BLEU方法基本n-gram精确率公式:CandidatesCCgramNCandidatesCCgramNclipngramNgramNcountcountp''''rcifrcif1/1ecrBPcountclip（N-gram）是匹配的N元短语数；count（N-gram’）是译文中N元短语总数。针对短译文的简短惩罚因子：c为译文的长度和；r为与每个译文长度最接近的参考译文的长度和二、BLEU方法及分析1、传统的BLEU方法引入惩罚因子后，最终的BLEU计算公式如下所示：其中Wn是n元短语的权重，这里通常取Wn=1/N；N是取得最大的n元短语的元数，这里通常取N=4。这样的BLEU的得分是一个0-1之间的数，较高的得分表示译文质量越高。接近1的得分表示候选译文和参考译文就已经非常接近了。NnnnpwBPBLEU1logexp二、BLEU方法及分析2、BLEU方法用于汉语译文性能分析数据：某英语水平考试英汉翻译试题1段英文、3个句子1个标准译文+3个手工译文152篇翻译，阅卷点正式评分满分：12分分数段123456789101112文件数9876131416192516127各分数段的文件数二、BLEU方法及分析2、BLEU方法性能分析各种匹配条件下BLEU-4得分与人工评价得分相关系数参考译文数按字按词匹配按词性词+词性10.5730.5390.5600.54840.6840.6240.6730.620二、BLEU方法及分析2、BLEU方法性能分析4个参考译文时与人工评价的相关性较好；按字计算时与人工评价的相关性较好；无论是按字匹配，按词匹配，按词性匹配，还是按词与词性同时匹配的，BLEU的相关性都仅在0.6-07之间二、BLEU方法及分析2、BLEU方法性能分析平均对待任何译文不符合人工翻译评价的直觉不区分译文的种类：实词、虚词、还是标点符号–一个正确的名词译文vs一个正确介词译文不区分一个正确译文译出和连续多个正确译文–获得连续正确译文的难度要比获得一个正确译文的难度要大–对于手工评价，连续正确译文给人重要的正面印象。三、基于线性回归的BLEU方法改进三、基于线性回归的BLEU方法改进1、基于词类的译文权重首先引入词性信息考察不同词性的正确译文和人工翻译评价结果之间的关系各种词性正确译文与人工评价的相关系数(Pearson)名词动词形容词副词数词和代词介词连词其他0.5970.6530.1710.4930.5090.3640.4870.469三、基于线性回归的BLEU方法改进1、基于词类的译文权重回归分析每种词性的权重:引入权重前后BLEU-1得分和人工评分的相关性:名词动词形容词副词数词和代词介词连词其他0.2030.3320.0770.7250.0240.0280.3820.154BLEU-1增加词性权重无词性权重uni-gram0.7710.730三、基于线性回归的BLEU方法改进1、基于词类的译文权重对词性加权后，各种情况与人工评价的相关性都相对于BLEU有了很大的提升8种词性计算得分与人的评价得分的相关系数最高：0.77-相关系数8种词性0.771无形容词0.771无介词、形容词0.771无介词、代-数词0.771无介词、形容词、其他0.763无其他0.764名词+动词0.7018种词性的各种组合一元BLEU得分与人工评价得分相关系数三、基于线性回归的BLEU方法改进2、N-gram译文分值的计算将词性权重赋予不同长度的N-gram？在N1时，N-gram会发生2种情况：词与词性完全匹配不完全匹配：词匹配但词性未得到匹配初步分析：仅考虑词与词性完全匹配二元(bigram)的实验三、基于线性回归的BLEU方法改进2、N-gram译文分值的计算-增加词性权重不加词性权重unigram0.7710.730bigram0.6840.672BLEU1元和2元是否加权的结果和人工评分的相关性比较三、基于线性回归的BLEU方法改进2、N-gram译文分值的计算在计算N-gram权重应该对所匹配上的词乘以一个权值，考虑到可能由于词性标注误差而造成的不完全匹配对，我们这里做一个近似的处理，将词形匹配而词性不匹配的词的权重乘以一个惩罚因子0.5。3元以及3元以上情况计算方法与此类似。采用这种方法计算的N-gram得分和传统的BLEU得分与人工评价的相关性见下表：三、基于线性回归的BLEU方法改进2、N-gram译文分值的计算增加词性权重进的N-gram得分vs传统BLEU得分词性加权原始BLEU1-gram0.7710.7292-gram0.6840.6723-gram0.5470.5904-gram0.4620.5581-2gram0.7510.6981-3gram0.7080.6551-4gram0.6730.620三、基于线性回归的BLEU方法改进3、N-gram译文分值权重对BLEU1~BLEU4分值的权重再次回归分析；根据回归纷纷的权重再计算BLEU-4：加权N-gram得分和人工评分的相关系数：0.780原始BLUE-4:0.620（词和词性）原始BLEU-4最高：0.68（字）四、实验结果与分析四、实验结果与分析基于词性和n-gram长度的BLEU方法性能分析10重交叉交验结果最高：0.934最低：0.635平均值：0.782相关系数10.73120.76530.80040.75650.86560.65670.78180.89590.635100.934平均0.782四、实验结果与分析机器翻译自动评价性能实验利用互联网上的机器翻译服务，获得12个不同翻译;请同一翻译专家对这12系统译文进行评分;并采用上文152篇数据得到的词性和N-gram的权重;原始BLEU-4加权BLEU-40.6120.704结语总结提出综合加权的BLEU方法，提高了和人工翻译评价的一致性。不同译文词性不同译文长度在英汉机器翻译结果上的验证了这一方法的性能后续的工作测试集独立？机器学习方法？谢谢！联系方式：[e-mail]