在使用 bert 模型作为嵌入向量时，我是不是需要对自己的数据进行训练？

Posted 2023-03-29

【中文标题】在使用 bert 模型作为嵌入向量时，我是不是需要对自己的数据进行训练？

【英文标题】：Do I need to train on my own data in using bert model as an embedding vector?在使用 bert 模型作为嵌入向量时，我是否需要对自己的数据进行训练？

【发布时间】：2021-08-08 05:06:54

【问题描述】：

当我尝试拥抱脸模型时，它会给出以下错误消息：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
inputs = tokenizer("Hello world!", return_tensors="pt")
outputs = model(**inputs)

还有错误信息：

Some weights of the model checkpoint at bert-base-uncased were not used when initializing BertModel: ['cls.predictions.transform.dense.bias', 'cls.predictions.transform.dense.weight', 'cls.predictions.decoder.weight', 'cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.LayerNorm.bias', 'cls.seq_relationship.bias', 'cls.seq_relationship.weight', 'cls.predictions.bias']
- This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
- This IS NOT expected if you are initializing BertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).

我的目的是找到一个预训练模型来为我的文本创建嵌入向量，以便可以在下游文本中使用它。我不想创建自己的预训练模型来生成嵌入向量。在这种情况下，我可以忽略那些警告信息，还是需要继续训练自己的数据？在另一篇文章中，我了解到“大多数官方模型没有预训练的输出层。权重是随机初始化的。你需要为你的任务训练它们。”我的理解是，如果我只想基于公共模型（如 Huggingface）为我的文本获取通用嵌入向量，我不需要训练。对吗？

我是变形金刚新手，请发表评论。

【参考方案1】：

确实，bert-base-uncased 模型已经过预训练，并且会产生上下文相关的输出，这不应该是随机的。

如果您的目标是获得整个输入序列的向量表示，这通常通过在模型中运行您的序列（如您所做的那样）并提取[CLS] 标记的表示来完成。

[CLS] 标记的位置可能会根据您使用的基本模型而改变，但它通常是输出中的第一个维度。

FeatureExtractionPipeline (documentation here) 是从模型中提取上下文特征的过程的包装器。

from transformers import FeatureExtractionPipeline

nlp = FeatureExtractionPipeline(
    model=model,
    tokenizer=tokenizer,
)

outputs = nlp(sentence)
embeddings = outputs[0]
cls_embedding = embeddings[0]

一些有助于验证事情是否按预期进行的事情：

检查 [CLS] 嵌入是否具有预期的维度 检查 [CLS] 嵌入是否为相似文本生成相似向量，并为不同文本生成不同向量（例如，通过应用余弦相似度）

其他参考：https://github.com/huggingface/transformers/issues/1950