机器学习---算法学习3

Posted 2020-09-07 醉清风--

词向量:

将词语"嵌入"到一个N维空间，使得词语相近的词语放到相近的位置。

机器翻译类不类似于矩阵的变换？

谷歌出品的一个工具Word2Vec，用于入门。

句向量？段向量？文档向量?

很多事情向量化，可以解决很多问题。

 

传统的one-hot 编码的原来是，有多少个字就有多少个维度.

科[1,0,0,0,0,0,0,0]

学[0,1,0,0,0,0,0,0]

one hot -- >词向量表(全连接的大矩阵)-->输出(该词的矩阵)

Embedding层就是one hot 层。

 

时间序列:每次作预测都是一个序列， 序列每个时间点都有若干个属性，实际上是一个矩阵的输入。

时间递归神经网络(LSTM)：专门用于解决序列类型的神经网络。