Response Generation中BLEU、NIST评测方法的使用

布满荆棘的人生 2022-05-09 08:58 201阅读 0赞

最近准备AI Challenger的时候要用到BLEU、NIST等评价指标对机器翻译的效果进行评价，BLEU比较好找，NIST就比较麻烦了，在这记录一下使用方法

关于BLEU的介绍可以参考[对话响应生成的无监督评估指标的实证研究][Link 1]

NIST(National Institute of standards and Technology)方法是在BLEU方法上的一种改进。最主要的是引入了每个n-gram的信息量(information)的概念。BLEU算法只是单纯的将n-gram的数目加起来，而nist是在得到信息量累加起来再除以整个译文的n-gram片段数目。这样相当于对于一些出现少的重点的词权重就给的大了。

## 下载NIST ##

首先进入nist的[官网][Link 2]

![屏幕快照 2018-10-05 上午11.06.04.png][2018-10-05 _11.06.04.png]

下载`mteval-v13a-20091001.tar.gz`

下载完成后直接运行会出现`Can't locate XML/Twig.pm in @INC (you may need to install the XML::Twig module)`的报错，需要先XML-Twig的库

## 配置XML-Twig ##

进入[XML-Twig官网][XML-Twig]

![屏幕快照 2018-10-05 上午11.14.01.png][2018-10-05 _11.14.01.png]

下载完成后解压`XML-Twig-3.52.tar.gz`，cd进入`XML-Twig-3.52`目录

perl Makefile.PL -y
    make
    sudo make install

## Usage ##

### 用nist提供的example进行测试 ###

perl mteval-v13a.pl -r example/ref.xml -s example/src.xml -t example/tst.xml

![屏幕快照 2018-10-05 上午11.23.24.png][2018-10-05 _11.23.24.png]

### 其他用法 ###

*  BLEU-4（mteval-v13a，官方OpenMT12评估指标）
    
     *  调用行： `perl mteval-v13a.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -b`
     *  选项-c：区分大小写的得分
     *  选项-b：仅BLEU得分
 *  IBM BLEU（bleu-1.04a）
    
     *  调用行： perl [bleu-1.04.pl][] \-r REFERENCE\_FILE -t CANDIDATE\_FILE
     *  默认情况下，评分是区分大小写的
 *  NIST（mteval-v13a）
    
     *  调用行： perl [mteval-v13a.pl][] \-r REFERENCE\_FILE -s SOURCE\_FILE -t CANDIDATE\_FILE -c -n
     *  选项-c：区分大小写的得分
     *  选项-n：仅NIST评分
 *  TER（tercom-0.7.25）
    
     *  调用行： java -jar tercom.7.25.jar -r REFERENCE\_FILE -h CANDIDATE\_FILE -N -s
     *  选项-N：启用归一化
     *  选项-s：区分大小写的得分
 *  METEOR（气象0.7）
    
     *  调用行： perl [meteor.pl][] \-s SYSTEM\_ID -r REFERENCE\_FILE -t CANDIDATE\_FILE --modules “exact porter\_stem wn\_stem wn\_synonymy”
     *  选项–modules “exact porter\_stem wn\_stem wn\_synonymy”：按照顺序使用所有四个METEOR匹配模块

## 转换xml脚本 ##

#!/usr/bin/python
    # coding=utf8
    
    import sys
    import re
    import codecs
    import os
    from xml.etree.ElementTree import ElementTree as etree
    from xml.etree.ElementTree import Element, SubElement, ElementTree
    
    # 传入至少5个参数
    # 生成译文的xml
    # param 1: 要处理的是什么文件，只允许传入 "src","tst","ref"
    # param 2：评测集名称
    # param 3：源语言
    # param 4：目标语言
    # param 5..：要处理的文件
    
    # 例如
    # 生成原文
    # python xml_transform.py src xml_data/test Chinese English bleu_data/src.txt
    # 生成译文
    # python xml_transform.py tst xml_data/test Chinese English bleu_data/tst.txt
    # 生成ref
    # python xml_transform.py ref xml_data/test Chinese English bleu_data/ref.txt
    
    # perl mteval-v13a.pl -r ../xml_data/test_ref.xml -s ../xml_data/test_src.xml -t ../xml_data/test_tst.xml
    
    
    '''
    @ 生成ref的xml
    @ param 1: 多份ref的list，list中每一个元素为一个ref的list
    @ param 2：评测集名称
    @ param 3：源语言
    @ param 3：目标语言
    '''
    
    
    def genrefxml(reflists, setid, srclang, trglang):
        mteval = Element('mteval')
        for reflist in reflists:
            sysid = reflist[0]
            set = SubElement(mteval, "refset")
            set.attrib = {"setid": setid, "srclang": srclang, "trglang": trglang, "refid": sysid}
            doc = SubElement(set, "doc")
            doc.attrib = {"docid": "doc1"}
    
            i = 0
            for sentence in reflist:
                # 第一位存储具体是哪个引擎
                if i != 0:
                    p = SubElement(doc, "p")
                    seg = SubElement(p, "seg")
                    seg.attrib = {"id": str(i)}
                    seg.text = sentence
                i = i + 1
        tree = ElementTree(mteval)
        tree.write(setid + '_ref.xml', encoding='utf-8')
    
    
    '''
    @ 生成译文的xml
    @ param 1: 多份译文的list，list中每一个元素为一个译文的list
    @ param 2：评测集名称
    @ param 3：源语言
    @ param 3：目标语言
    '''
    
    
    def gentstxml(tstlists, setid, srclang, trglang):
        mteval = Element('mteval')
        for tstlist in tstlists:
            sysid = tstlist[0]
            set = SubElement(mteval, "tstset")
            set.attrib = {"setid": setid, "srclang": srclang, "trglang": trglang, "sysid": sysid}
            doc = SubElement(set, "doc")
            doc.attrib = {"docid": "doc1"}
    
            i = 0
            for sentence in tstlist:
                # 第一位存储具体是哪个引擎
                if i != 0:
                    p = SubElement(doc, "p")
                    seg = SubElement(p, "seg")
                    seg.attrib = {"id": str(i)}
                    seg.text = sentence
                i = i + 1
        tree = ElementTree(mteval)
        tree.write(setid + '_tst.xml', encoding='utf-8')
    
    
    '''
    @ 生成原文的xml
    @ param 1: 原文内容的list
    @ param 2：评测集名称
    @ param 3：源语言
    '''
    
    
    def gensrcxml(senlist, setid, srclang):
        mteval = Element('mteval')
        set = SubElement(mteval, "srcset")
        set.attrib = {"setid": setid, "srclang": srclang}
        doc = SubElement(set, "doc")
        doc.attrib = {"docid": "doc1"}
    
        i = 1
        for sentence in senlist:
            p = SubElement(doc, "p")
            seg = SubElement(p, "seg")
            seg.attrib = {"id": str(i)}
            seg.text = sentence
            i += 1
        tree = ElementTree(mteval)
        tree.write(setid + '_src.xml', encoding='utf-8')
    
    
    # 调用具体的生成xml
    def genxmltree(filetype, setid, srclang, trglang, files):
        if filetype not in ["src", "tst", "ref"]:
            print("filetype is error")
            return
    
        # 处理原文
        if filetype == "src":
            srclist = []
            for line in open(files[0]):
                line = line.strip()
                if line:
                    srclist.append(line)
            gensrcxml(srclist, setid, srclang)
    
        # 处理译文
        if filetype == "tst":
            tstslist = []
            for tstfile in files:
                tstlist = []
                tstlist.append(str(tstfile).strip('.txt'))
                for line in open(tstfile):
                    line = line.strip()
                    if line:
                        tstlist.append(line)
                tstslist.append(tstlist)
            gentstxml(tstslist, setid, srclang, trglang)
    
        # 处理ref
        if filetype == "ref":
            reflists = []
            for reffile in files:
                reflist = []
                reflist.append(str(reffile).strip('.txt'))
                for line in open(reffile):
                    line = line.strip()
                    if line:
                        reflist.append(line)
                reflists.append(reflist)
            genrefxml(reflists, setid, srclang, trglang)
    
    
    argv_len = len(sys.argv)
    # print argv_len
    if argv_len < 6:
        print("param error! src/ref tmq English Chinese 1.txt ")
        sys.exit()
    
    filetype = sys.argv[1]
    setid = sys.argv[2]
    srclang = sys.argv[3]
    trglang = sys.argv[4]
    files = []
    for i in range(5, len(sys.argv)):
        files.append(sys.argv[i])
    
    genxmltree(filetype, setid, srclang, trglang, files)

## 参考资料 ##

[机器翻译评测——BLEU改进后的NIST算法][BLEU_NIST]  
[对话响应生成的无监督评估指标的实证研究][Link 1]

[Link 1]: https://blog.csdn.net/angus_monroe/article/details/82048468
[Link 2]: https://www.nist.gov/itl/iad/mig/tools
[2018-10-05 _11.06.04.png]: https://i.loli.net/2018/10/05/5bb6d60c3e731.png
[XML-Twig]: http://search.cpan.org/~mirod/XML-Twig-3.48/Twig.pm
[2018-10-05 _11.14.01.png]: https://i.loli.net/2018/10/05/5bb6d729c3170.png
[2018-10-05 _11.23.24.png]: https://i.loli.net/2018/10/05/5bb6d93ff0bb6.png
[bleu-1.04.pl]: http://bleu-1.04.pl
[mteval-v13a.pl]: http://mteval-v13a.pl
[meteor.pl]: http://meteor.pl
[BLEU_NIST]: http://www.cnblogs.com/by-dream/p/7765345.html