谷歌开源首个「方言」数据集：让机器翻译更地道 _小知识

文章插图
新智元报道
编辑：LRS
【新智元导读】数据集包含葡萄牙语和汉语普通话。
虽然全中国的人都在说汉语，但具体到各地的方言却略有不同，比如同样是小巷的意思，「胡同」一开口就知道是老北京了，而到了南方则叫「弄」。
这种细微的地域性差异反应在「机器翻译」任务上，就会显得翻译结果不够「地道」，而目前几乎所有的机器翻译系统都没有考虑地区性语言（即方言）的影响。
而在世界范围内也存在这种现象，比如巴西的官方语言是葡萄牙语，跟欧洲的葡萄牙语之间也有一些地域性差异。
最近谷歌发布了一个全新的，可用于Few-shot Region-aware机器翻译的数据集和评估基准FRMT，主要解决方言翻译问题，论文发表在TACL（Transactions of the Association for Computational Linguistics）上。
论文链接：https://arxiv.org/pdf/2210.00193.pdf
开源链接：https://github.com/google-research/google-research/tree/master/frmt
该数据集包括从英语到葡萄牙语和中文普通话的两个地区变体的专业翻译，源文档是为了能够详细分析感兴趣的现象，包括词汇上不同的术语和干扰术语。
研究人员探索了 FRMT 的自动评估指标，并在区域匹配和不匹配评分情景下验证了其与专家人工评估的相关性。
最后，为这项任务提出了一些基线模型，并为研究人员如何训练、评估和比较自己的模型提供指导建议，数据集和评估代码已开源。
Few-Shot泛化
大多数现代机器翻译系统都经过数百万或数十亿翻译样本的训练，输入数据包括英语输入句及其相应的葡萄牙语翻译。
然而，绝大多数可用的训练数据并没有说明翻译的地区差异。

文章插图
比如输入句子：The bus arrived，再给定几个巴西葡萄牙语的例子，模型应该能翻译出「O ônibus chegou」；如果给的样例是欧洲葡萄牙语，模型的翻译结果应该变为「O autocarro chegou」。
机器翻译的few-shot方法是很有研究价值的，能够以一种非常简单的方式来对现有系统中增加对额外区域语言的支持能力。
虽然谷歌目前发表的工作是针对两种语言的区域变体，但研究人员预测，一个好的方法将很容易适用于其他语言和区域的变体。
从原理上来说，这些方法也适用于其他语言差异现象，例如礼节和风格等。
数据收集
FRMT 数据集包括部分英文维基百科文章，来源于 Wiki40b 数据集，这些文章已经由付费的专业翻译人员翻译成不同的地区性的葡萄牙语和汉语。

文章插图
为了突出关键区域感知的翻译难题，研究人员使用了三个内容桶（content buckets）来设计数据集：
1. 词汇 Lixical
研究人员根据博客和教育网站手动收集了20-30个具有地区特色的翻译术语，并根据来自每个地区的母语志愿者的反馈对翻译进行过滤和审核。
根据得到的英语术语列表，从相关的英语维基百科文章（例如，bus）中提取出100个句子。再对普通话，重复上述相同的的收集过程。

文章插图
2. 实体 Entity
实体桶以类似的方式填充，涉及的人、位置或其他实体与某一特定语言所涉两个区域之一有着密切联系。
比如给定一个说明性的句子，如「In Lisbon, I often took the bus.」（在里斯本，我经常坐公共汽车。），为了正确地将其翻译成巴西葡萄牙语，模式必须能够识别出两个潜在的陷阱：
1）里斯本和葡萄牙之间更密切的地理关联可能会影响模型翻译的选择，从而帮助模型判断出应该翻译成欧洲葡萄牙语而非巴西葡萄牙语，即选择「autocarro」而不是「ônibus」。
2）用「巴西利亚」代替「里斯本」可能是一个比较简单的方式，对于同一个模式，对巴西葡萄牙语本地化其输出，即便翻译结果仍然很流畅，但也可能会导致不准确的语义。
3. 随机 Random
随机桶用于检查一个模型是否正确处理了其他不同的现象，包含从维基百科的featured和good）集合中随机抽取的100篇文章。