（2020.6.19）跨语言BERT
Posted sqlkrad
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了（2020.6.19）跨语言BERT相关的知识，希望对你有一定的参考价值。
跨语言BERT目前还处在大力出奇迹的状态。
首先mBERT发现BERT训练在多语言语料的时候，可以用一种语言微调，测试在另一种语言上。
此后XLM就改进了一下，加入了language embedding。
然后后来发现并没有什么用，还不如增大训练规模来得厉害，于是有了XLM-R，基本上是目前的SOTA了。
目前有一些比较有意思的探索工作，如2004.09205、2005.00052，后面有时间研究一下。
以上是关于（2020.6.19）跨语言BERT的主要内容，如果未能解决你的问题，请参考以下文章
论文泛读176具有各向同性和等距条件的跨语言 BERT 上下文嵌入空间映射
BERT微调 自然语言推理数据集 BERT微调代码实现 动手学深度学习v2