fasttext和word2vec的区别?

Posted 2023-03-18

参考技术A 首先，要明确它在说的fasttext是什么?我们学的fasttext工具有两个作用，也就是两个主要接口，文本分类和训练词向量，而我们学习的word2vec是什么，是如何进行词向量训练的理论。

但大家要知道，word2vec是有这个工具的，同样实现word2vec还有gensim这样的工具包。所以更进一步，问的是原生的word2vec和fasttext在实现时的差异，到底加了哪些工程技巧呢?为了避免出现OoV(out of vocab)现象，设计了允许加入子词(subword)特征，同时对subword可以进行n-gram，以拓展词表。当然，我们知道，word2vec提供两种模式训练cbow和skipgram，他们的结构都是输出层，隐层和输出层，这些都属于全连接层，输出层就是全连接层+softmax，全连接层+softmax如果计算非常大，那可以怎么办呢?就是允许使用层次softmax。