谷歌提出可量化评估NLG模型性能的BLEURT指标

过去几年 , 自然语言生成(NLG)模型得到了巨大的发展 , 通读、总结文本、以及参与对话的能力都已大幅提升 。 为便于研究团队评估不同NLG模型的性能 , 搜索巨头谷歌(Google)特地提出了一个名叫BLEURT量化指标 。 通常情况下 , 我们可以通过人工和自动化流程来评估NLG模型 , 比如双语评估学习(BLEU) 。 前者的缺点是太费人力 , 后者的优势是具有更高的准确性 。
谷歌提出可量化评估NLG模型性能的BLEURT指标
文章图片

(来自:MITTechReview)
谷歌研究人员称 , BLEURT是一种针对自然语言模型(NLG)的全新自动化评估指标 , 可为不同模型打出可靠的评分 , 结果接近、甚至超越了人类指标 。
据悉 , BLEURT的核心为机器学习 。 对于任何ML模型 , 最重要的就是训练用的数据有多丰富 。 然而对于NLG模型来说 , 其训练数据是相当有限的 。
谷歌提出可量化评估NLG模型性能的BLEURT指标
文章图片

实际上 , 在WMTMetricsTask数据集中(目前人类汇聚的最大集合) , 也仅收集了涵盖新闻领域的大约26万数据 。
若将之用作唯一的训练数据集 , 那WMT度量任务数据集将失去训练模型的通用性和鲁棒性 。 为攻克这一问题 , 研究人员采取了转移学习的方法 。
首先 , 研究团队使用了BERT的上下文词 , 且其已顺利聚合到Yis和BERTscore等NLG量化工具中 。
接着 , 研究人员介绍了一种新颖的预训练方案 , 以提升BLEURT的鲁棒性和准确度 , 同时有助于应对模型的质量偏移 。
谷歌提出可量化评估NLG模型性能的BLEURT指标
文章图片

在微调人工量化标准前 , BLEURT借助了数以百万计的合成句子 , 对NLG模型展开了“预热”训练 。 其通过来自维基百科的句子、加上随机扰动来生成训练数据 。
研究团队未手机人工评分 , 而是使用了相关文献(含BLEU)中的指标与模型集合 , 能够以极低的代价来扩大训练示例的数量 , 然后对BLEURT进行了两次预训练 。
【谷歌提出可量化评估NLG模型性能的BLEURT指标】其一阶段目标是语言建模 , 二阶段目标则是评估NLG模型 , 此后团队在WMT指标数据集上对模型进行了微调 。 一旦受过训练 , BLEURT就会试着与竞争方案对抗 , 以证明其由于当前的指标 。
谷歌提出可量化评估NLG模型性能的BLEURT指标
文章图片

据悉 , BLUERT在Python3上运行 , 且依赖于TensorFlow , 详情可参阅GitHub项目介绍页(传送门) 。 有关这项研究的详情 , 可翻看ArXiv上的预印本 。
最后 , 研究人员还总结了其它结果 , 比如BLEURT试图“捕获表面重叠以外的NLG质量” , 该指标在两项学术基准评估中获得了SOTA的评价 。


    推荐阅读