keras 序贯（Sequential）模型 常见设置

Posted 2021-01-11

1. 最近看了一些例子，keras在预测方面，Sequential 常见搭配如下

情感分析

embedding -> lstm -> dense

embedding 主要用于词的one-hot 编码， lstm 主要用于长距离记忆， dense 是全连接。

CTR 预测或者序列预测

lstm -> dense 就足够了， 当然前面可以多个lstm。

2. loss （目标函数）方面

loss=‘mean_squared_error‘ (均方误差), 或者 loss=‘mae‘(绝对值均差) 两者选择哪个都可以。

3. optimizer（优化器）

optimizer=‘adam‘ 常见用法。metrics 常设置为‘accuracy‘

4. 激活函数

有很多，比如 Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函数。但实际中经常使用的是 relu。具体可以查看这篇文章（https://blog.csdn.net/qrlhl/article/details/60883604）。

一般在lstm层数较多的时候使用relu，较少时使用默认的tanh