论文泛读117通过中文自然语言推理研究多语言预训练语言模型中的迁移学习

Posted 2021-06-27 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference》

一、摘要

多语言转换器（XLM、mT5）已被证明在零样本设置中具有非凡的传输技能。然而，大多数迁移研究依赖于自动翻译的资源（XNLI、XQuAD），因此很难辨别正在迁移的特定语言知识，以及在开发特定任务模型时专家注释的单语数据集的作用。我们研究了 XLM-R 在中文和英文自然语言推理 (NLI) 中的跨语言迁移能力，重点是最近的大规模中文数据集 OCNLI。为了更好地理解语言迁移，我们为中文创建了 4 类挑战和对抗性任务（总共 17 个新数据集），这些任务建立在几个著名的英语资源（例如，HANS、NLI 压力测试）的基础上。我们发现在英语 NLI 上训练的跨语言模型在我们的中文任务中迁移得很好（例如，在我们的挑战类别的 3/4 中，它们的表现与最好的单语模型一样好/更好，即使在 3/5 独特的中文语言成语、亲掉等现象）。然而，这些结果伴随着重要的警告：跨语言模型在混合使用英语和高质量单语 NLI 数据 (OCNLI) 时通常表现最佳，并且经常受到自动翻译资源 (XNLI-zh) 的阻碍。对于许多现象，所有模型都在继续挣扎，这突显出我们需要新的诊断方法来帮助对中文和跨语言模型进行基准测试。所有新的数据集/代码都发布在 甚至 3/5 独特的中国语言现象，如习语、专业下降）。然而，这些结果伴随着重要的警告：跨语言模型在混合使用英语和高质量单语 NLI 数据 (OCNLI) 时通常表现最佳，并且经常受到自动翻译资源 (XNLI-zh) 的阻碍。对于许多现象，所有模型都在继续挣扎，这突显出我们需要新的诊断方法来帮助对中文和跨语言模型进行基准测试。所有新的数据集/代码都发布在 甚至 3/5 独特的中国语言现象，如习语、专业下降）。然而，这些结果伴随着重要的警告：跨语言模型在混合使用英语和高质量单语 NLI 数据 (OCNLI) 时通常表现最佳，并且经常受到自动翻译资源 (XNLI-zh) 的阻碍。对于许多现象，所有模型都在继续挣扎，这突显出我们需要新的诊断方法来帮助对中文和跨语言模型进行基准测试。所有新的数据集/代码都发布在 所有模型都在继续挣扎，这突显出我们需要新的诊断来帮助对中文和跨语言模型进行基准测试。所有新的数据集/代码都发布在 所有模型都在继续挣扎，这突显出我们需要新的诊断来帮助对中文和跨语言模型进行基准测试。所有新的数据集/代码都发布在：github。

二、结论

在这篇论文中，我们通过四组新的由17个新的高质量的和受语言驱动的挑战数据集组成的平均/探测任务来检验XLM-R在中国NLI的跨语言迁移能力。我们发现，仅通过基准英语数据进行微调的跨语言迁移通常会产生令人印象深刻的性能。在我们3/4的任务类别中，这种零触发迁移优于我们在基准中国NLI数据上训练的最好的单语模型，包括我们手工制作的测试中国独特语言现象的挑战任务的3/5。这些结果表明，多语言模型确实能够进行大量的跨语言语言迁移，零触发NLI可能成为新语言大规模数据集开发的一个重要替代方案。

这些结果带有几个重要的警告。模型性能仍然优于人类性能的保守估计，我们最好的模型仍然有相当大的改进空间；我们希望我们的新资源将有助于继续衡量中国NLI的进展。我们还发现，高质量的中国NLI数据(如OCNLI)有助于进一步提高结果，这表明某些类型的专业注释的单语数据在培训管道中的重要作用。由于我们的研究仅限于行为测试，跨语言零镜头迁移通常表现良好的确切原因，尤其是在一些中国特有的现象上，是一个有待进一步研究的问题。特别是，我们相信将行为测试与干预技术相结合的技术(盖格等人，2020；Vig等人，2020)和其他分析方法(Giulianelli等人，2018；贝林科夫与格拉斯，2019；辛哈等人，2021)可能会提供见解，我们的新资源可以在未来的工作中发挥重要作用。

三、模型

数据集：

• Adversarial dataset
• Chinese HANS
• Distraction
• Antonym
• Synonym
• Spelling
• Numerical reasoning