序列模型 sequence model 文本预处理 动手学深度学习v2

Posted 2022-08-05 AI架构师易筋

1. 序列模型 sequence model

2. 代码实现

3. 文本预处理

把文本当做时序序列

4. Q&A

• 1. RNN 可以认为跟隐马尔科夫假设上建模的。later variable潜变量 是不存在， hidden variable隐变量是存在，只是看不到。
• 2. MLP可以记住了过去数据的模式，然后去用这个模式去画出未来的趋势。如果仅仅是记住数据，泛化性会不好，导致过拟合。
• 3. 预测波音飞机的零件的坏的概率，有几百个参数。这里的困难点是在，要收集到足够多的负类。否则，都是正类数据，预测出来都是正常的。
• 4. 分词常见词用的数字越小，内存的使用率最高。信息论证明过。

参考

https://www.bilibili.com/video/BV1L44y1m768/