TensorFlow：训练时参数不更新

Posted 2023-04-17

【中文标题】TensorFlow：训练时参数不更新

【英文标题】：TensorFlow: parameters do not update when training

【发布时间】：2016-06-27 22:48:41

【问题描述】：

我正在使用 TensorFlow 实现分类模型

我面临的问题是，当我运行训练步骤时，我的权重和误差没有更新。结果，我的网络不断返回相同的结果。

我基于 TensorFlow 网站上的 MNIST example 开发了我的模型。

import numpy as np
import tensorflow as tf
sess = tf.InteractiveSession()

#load dataset
dataset = np.loadtxt('char8k.txt', dtype='float', comments='#', delimiter=",")
Y = np.asmatrix( dataset[:,0] ) 
X = np.asmatrix( dataset[:,1:1201] )

m = 11527
labels = 26

# y is update to 11527x26
Yt = np.zeros((m,labels))

for i in range(0,m):
    index = Y[0,i] - 1
    Yt[i,index]= 1

Y = Yt
Y = np.asmatrix(Y)

#------------------------------------------------------------------------------

#graph settings

x = tf.placeholder(tf.float32, shape=[None, 1200])
y_ = tf.placeholder(tf.float32, shape=[None, 26])


Wtest = tf.Variable(tf.truncated_normal([1200,26], stddev=0.001))
W = tf.Variable(tf.truncated_normal([1200,26], stddev=0.001))
b = tf.Variable(tf.zeros([26]))
sess.run(tf.initialize_all_variables())

y = tf.nn.softmax(tf.matmul(x,W) + b)

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
Wtest = W


for i in range(10):
  print("iteracao:")
  print(i)
  Xbatch = X[np.random.randint(X.shape[0],size=100),:]
  Ybatch = Y[np.random.randint(Y.shape[0],size=100),:]
  train_step.run(feed_dict=x: Xbatch, y_: Ybatch)
  print("atualizacao de pesos")  
  print(Wtest==W)#monitora atualizaçao dos pesos

  correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  print("precisao:Y")
  print accuracy.eval(feed_dict=x: X, y_: Y)
  print(" ")
  print(" ")

【问题讨论】：

你可能应该用英语问你的问题。

www.***.com 上的问题应该是英文的。

Você pode ir ao site português ou pedir em Inglês.

我错了伙计们，我会编辑我的问题，谢谢

print(Wtest==W) 总是会给你“真”，因为 Wtest 和 W 是同一个变量

【参考方案1】：

问题可能来自于您如何初始化权重矩阵W。如果将其初始化为全零，则所有神经元将在每一步中遵循相同的梯度，从而导致网络无法训练。换线

W = tf.Variable(tf.zeros([1200,26]))

...类似于

W = tf.Variable(tf.truncated_normal([1200,26], stddev=0.001))

...应该让它开始训练。

CrossValidated 网站上的This question 很好地解释了为什么不应该将所有权重初始化为零。

【讨论】：

我仍然得到相同的结果，精度为 0.10996，但我会根据您的建议编辑我的问题代码

看看这个类似的问题：***.com/questions/36127436/… ... 用户遇到了和你一样的问题，你也可以尝试通过系统运行小批量，而不是整个数据集立刻。使用tf.reduce_sum() 而不是tf.reduce_mean() 来计算整体损失也可能会给你带来太大的有效学习率。

很好的答案！我正在尝试同样的事情并遵循您的建议。但我仍然面临同样的问题。请看***.com/questions/38501513/…