句子编码和语境化词嵌入有啥区别？

Posted 2023-02-15

【中文标题】句子编码和语境化词嵌入有啥区别？

【英文标题】：What is the difference between Sentence Encodings and Contextualized Word Embeddings?句子编码和语境化词嵌入有什么区别？

【发布时间】：2020-05-09 15:44:31

【问题描述】：

我在阅读有关 BERT 和 ELMo 的论文时看到了这两个术语，所以我想知道它们之间是否有区别。

【参考方案1】：

上下文化词嵌入

是表示特殊上下文中的词的向量。 传统的词嵌入如 Word2Vec 和 GloVe 为每个词生成一个向量，而上下文化词嵌入根据上下文为一个词生成一个向量。考虑句子The duck is swimming和You shall duck when someone shoots at you。对于传统的词嵌入，duck 的词向量在两个句子中是相同的，而在上下文化的情况下应该是不同的。 虽然词嵌入将词编码为向量表示，但还有一个问题是如何以计算机可以轻松使用的方式表示整个句子。这些

句子编码

可以将整个句子嵌入为一个向量，例如 doc2vec，它为一个句子生成一个向量。但 BERT 也会为整个句子生成一个表示，即 [CLS]-token。

简而言之，上下文化的词嵌入表示上下文中的一个词，而句子编码表示整个句子。