领域数据下重新预训练模型和原始bert性能分析
Posted 今夜无风
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了领域数据下重新预训练模型和原始bert性能分析相关的知识，希望对你有一定的参考价值。
一个观点：在所属领域内重新对bert模型做预训练后，对于下游任务性能必定会带来提升。
实验：观察在下游ner任务中的loss变化情况
1）原始bert
2）再次预训练bert
结论：经过预训练过后的loss变化是否更好，更平滑？
未完，，，
以上是关于领域数据下重新预训练模型和原始bert性能分析的主要内容，如果未能解决你的问题，请参考以下文章
在特定领域继续训练预训练的 BERT 模型的最简单方法是啥？