loss出现Nan的解决办法（梯度爆炸）

Posted 2023-03-11

参考技术A 1、加入gradient clipping：

    例如用的是交叉熵cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))的话，最后softmax层输出y_conv的取值范围在[0,1]页就是说允许取0值，有log(0)出现很有可能出现nan，cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y_conv,1e-15,1.0)))，在tensorflow中可以限定一下y_conv的取值范围。

    把上面的替换成下面的：

2、修改参数初始化方法：

    对于CNN可用xavier或者msra的初始化方法。

3、数据归一化：

    3.1 白化：减均值、除方差；

    3.2 加入normalization，比如BN、L2 norm等。

4、减小学习率、或者batch size；