使用 BERT 生成与另一个模型相似的嵌入

Posted 2023-03-29

【中文标题】使用 BERT 生成与另一个模型相似的嵌入

【英文标题】：Produce similar embeddings to another model with BERT

【发布时间】：2022-01-18 00:37:13

【问题描述】：

我有一个(input_text, embedding_of_input_text) 形式的数据集，其中embedding_of_input_text 是另一个模型 (DistilBERT) 在作为输入 input_text 时生成的维度 512 的嵌入。

我想在此数据集上微调 BERT，使其学会产生类似的嵌入（即一种模仿）。

此外，BERT 默认返回维度为 768 的嵌入，而这里 embedding_of_input_text 是维度为 512 的嵌入。

在 HuggingFace 库中正确的方法是什么？

【参考方案1】：

你可以得到数据集的分词器

并添加神经网络以获得 512 维的嵌入。

但是，这个操作是什么意思。