针对特定领域微调 Bert（无监督）

Posted 2023-02-15

【中文标题】针对特定领域微调 Bert（无监督）

【英文标题】：Fine-tune Bert for specific domain (unsupervised)

【发布时间】：2021-02-19 01:18:40

【问题描述】：

我想在与特定领域（在我的情况下与工程相关）相关的文本上微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？

【参考方案1】：

您实际上想要的是继续对来自您特定域的文本进行预训练 BERT。在这种情况下，您要做的是继续将模型作为掩码语言模型进行训练，但要使用您的特定领域数据。

您可以使用 Huggingface 变形金刚中的 run_mlm.py 脚本。

【讨论】：

在继续预训练时我是否还需要扩展词汇量？我在问，因为我要训练 Bert 的文本包含与发电厂相关的非常具体的术语。

你可以。最好的词汇文件中有很多插槽，您可以在其中放入特定领域的单词。