在 Tensorflow 中重新初始化变量

Posted 2023-02-23

【中文标题】在 Tensorflow 中重新初始化变量

【英文标题】：Re-initialize variables in Tensorflow

【发布时间】：2016-12-21 05:25:53

【问题描述】：

我正在使用 Tensorflow tf.Saver 加载预训练模型，我想通过擦除（重新初始化为随机）适当的权重和偏差来重新训练其中的一些层，然后训练这些层并保存训练好的模型。我找不到重新初始化变量的方法。我尝试了tf.initialize_variables(fine_tune_vars)，但它不起作用（我假设因为变量已经初始化），我还看到您可以将变量传递给tf.Saver，以便您部分加载模型，但这只是一半我想要实现的目标（因为当我保存经过训练的模型时，我希望它保存所有变量，而不仅仅是我加载的变量）。

提前谢谢你！

【问题讨论】：

你把tf.initialize_variables(fine_tune_vars)的结果传给sess.run()了吗？

这正是问题所在！

也许initialize_variables应该叫initialize_variables_op

我认为这样可以消除歧义！

【参考方案1】：

initialize_all_variables 应该可以重新初始化之前初始化的变量。

刚刚在 0.10 中进行了这种健全性检查

tf.reset_default_graph()
a = tf.Variable(tf.ones_initializer(()))
init_op = tf.initialize_all_variables()
modify_op = a.assign(5.0)

sess = tf.InteractiveSession()
sess.run(init_op)
print(a.eval())
sess.run(modify_op)
print(a.eval())
sess.run(init_op)
print(a.eval())

结果

1.0
5.0
1.0

【讨论】：

谢谢！正如 mrry 所说，我的问题是我没有使用 sess.run() ！

initialize_all_variables 已弃用，您需要使用 global_variables_initializer 代替。