Tensorflow 'nan' 损失和 '-inf' 权重，即使学习率为 0

Posted 2023-02-23

【中文标题】Tensorflow \'nan\' 损失和 \'-inf\' 权重，即使学习率为 0

【英文标题】：Tensorflow 'nan' Loss and '-inf' weights, Even with 0 Learning RateTensorflow 'nan' 损失和 '-inf' 权重，即使学习率为 0

【发布时间】：2017-06-22 21:21:21

【问题描述】：

我正在 AWS GPU 机器上训练深度卷积神经网络。 数据集 -> 谷歌 SVHN 训练规模 -> 200,000+

我得到 Loss = 'nan' 和 W = '-inf'

即使学习率为 0

Loss at step 0: 14.024256
Minibatch accuracy: 5.8%
Learning rate :  0.0
W :  [ 0.1968164   0.19992708  0.19999388  0.19999997]
b :  [ 0.1  0.1  0.1  0.1]        

Loss at step 52: 14.553226
Minibatch accuracy: 5.9%
Learning rate :  0.0
W :  [ 0.19496706  0.19928116  0.19977403  0.1999999 ]
b :  [ 0.1  0.1  0.1  0.1]

# STEP 53 ---> LOSS : NAN, ALL WEIGHTS STILL OKAY
Loss at step 53: nan
Minibatch accuracy: 6.4%
Learning rate :  0.0
W :  [ 0.19496706  0.19928116  0.19977403  0.1999999 ]
b :  [ 0.1  0.1  0.1  0.1]

# STEP 54 ---> LOSS : NAN, WEIGHTS START GOINT TO -INF
Loss at step 54: nan
Minibatch accuracy: 49.2%
Learning rate :  0.0
W :  [       -inf        -inf  0.19694112        -inf]
b :  [-inf -inf  0.1 -inf]

# STEP 54 ---> LOSS : NAN, W & B  -INF
Loss at step 55: nan
Minibatch accuracy: 46.9%
Learning rate :  0.0
W :  [-inf -inf -inf -inf]
b :  [-inf -inf -inf -inf]

我尝试了以下技巧：

使用了几种不同的优化器（Adam、SGD 等） 在最后一层使用了不同的激活函数（ReLU、Sigmoid、tanH） 以不同方式初始化权重和偏差 尝试了不同的学习率和速率衰减（从 0.001 到 0.0001） 我认为我的数据集中可能有错误，因此删除了前 10000 个条目。没用

这些东西似乎都不适合我。 1500 步后，我仍然会丢失“nan”。

我的代码：

权重初始化

W1 = tf.Variable(tf.truncated_normal([6, 6, 1, K], stddev=0.1))    
B1 = tf.Variable(tf.constant(0.1, tf.float32, [K]))
# Similarly W2, B2, W3, B3, W4 and B4

W5_1 = tf.Variable(tf.truncated_normal([N, 11], stddev=0.1))
B5_1 = tf.Variable(tf.constant(0.1, tf.float32, [11]))
# Similarly W5_2, B5_2, W5_3, B5_3, W5_4, B5_4, W5_5, B5_5, 

# Model
Y1 = tf.nn.relu(tf.nn.conv2d(X, W1, strides=[1, 1, 1, 1], padding='SAME') + B1)
# Similarly Y2 and Y3 with stride 2

shape = Y3.get_shape().as_list()
YY = tf.reshape(Y3, shape=[-1, shape[1] * shape[2] * shape[3]])
Y4 = tf.sigmoid(tf.matmul(YY, W4) + B4)
YY4 = tf.nn.dropout(Y4, pkeep)

Ylogits_1 = tf.matmul(YY4, W5_1) + B5_1
# Ylogits_2,3,4,5 

Y_1 = tf.nn.softmax(Ylogits_1)
# Y_2,3,4,5

损失

cross_entropy = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(Ylogits_1, Y_[:,1])) +\
# ....... (Ylogits_5, Y_[:,5]))

train_prediction = tf.pack([Y_1, Y_2, Y_3, Y_4, Y_5])    
train_step = tf.train.AdamOptimizer(alpha).minimize(cross_entropy)

W_s = tf.pack([tf.reduce_max(tf.abs(W1)),tf.reduce_max(tf.abs(W2)),tf.reduce_max(tf.abs(W3)),tf.reduce_max(tf.abs(W4))])
b_s = tf.pack([tf.reduce_max(tf.abs(B1)),tf.reduce_max(tf.abs(B2)),tf.reduce_max(tf.abs(B3)),tf.reduce_max(tf.abs(B4))])

model_saver = tf.train.Saver()

张量流会话

for step in range(num_steps):
    # I have set the Learning Rate = 0
    learning_rate = 0
    batch_data = train_data[step*batch_size:(step + 1)*batch_size, :, :, :]
    batch_labels = label_data[step*batch_size:(step + 1)*batch_size, :]

    feed_dict = X : batch_data, Y_ : batch_labels, pkeep : 0.80, alpha : learning_rate
    _, l, train_pred, W, b = session.run([train_step, cross_entropy, train_prediction, W_s, b_s], feed_dict=feed_dict)

    if (step % 20 == 0): 
        print('Loss at step %d: %f' % (step, l))
        print('Minibatch accuracy: %.1f%%' % acc(train_pred, batch_labels[:,1:6]))
        print('Learning rate : ', learning_rate)
        print('W : ', W)
        print('b : ', b)
        print('    ')

如果 Learning Rate 为 0，则不会发生学习，损失和权重如何变化以及 ho 到 nan 和 -inf。

感谢任何帮助。

【问题讨论】：

这是更一般的建议，但第一步是弄清楚数字问题的引入位置。您可以尝试将add_check_numerics_ops 的输出与with your training op 一起运行吗？

【参考方案1】：

我看到当一个标签超出范围时会发生这种情况。你能检查你的标签是否都在 (0 - (num_labels-1) ) 的范围内吗？

【讨论】：

“标签超出范围”。这帮助我重回正轨。我正在解决一个输出 [100-300] 范围内的值的问题。我现在正在做的是将标签除以 100。现在训练似乎很好。在推理时，我只需要记住将这些预测乘以 100。

【参考方案2】：

虽然我无法确定您的代码存在什么问题，但我可以推荐两种调试 NaN 和 Inf 的通用方法。

首先是简单地检查您的代码并查找可能未在其输入上定义的任何操作。我立即想到的操作（因为它们很常见）是除法（除以 0）和对数（负值）。这包括不明显的部分代码，因为您应用了需要这些操作的更复杂的函数。在您的代码中，这包括 stf.reduce_mean（如果您的输入集总和为 0，则包括有问题的除法 - 如果它的长度也为 0，也可能发生这种情况）。

第二个是 tensorflow 最有用的操作之一：tf.add_check_numerics_ops 创建一个操作（即您需要使用 session.run 调用的操作），它将告诉您哪个计算节点是 inf 或 nan ...

【讨论】：

如何使用 add_check_numeric_ops 的示例可以在这里找到：***.com/questions/34046048/…

【参考方案3】：

我对 CNN 实现也有类似的问题。在对其他答案进行所有检查（断言输入和标签值在范围内，不除以零等）之后，问题仍然存在：在一个训练步骤之后，CNN 将在输出（logits）处产生 nan-s。

有趣的是，我偶然发现了一个“解决方法”：如果我将 tf.train.AdamOptimizer 替换为 tf.train.RMSPropOptimizer，则 nan 值不再出现。这非常令人困惑。

希望这对某人有所帮助。当我发现更多时，我会更新答案。