TensorFlow梯度求解tf.gradients

Posted yqtaowhu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow梯度求解tf.gradients相关的知识,希望对你有一定的参考价值。

import tensorflow as tf  

w1 = tf.Variable([[1,2]])  
w2 = tf.Variable([[3,4]])  

res = tf.matmul(w1, [[2],[1]])  

grads = tf.gradients(res,[w1])  

with tf.Session() as sess:  
    tf.global_variables_initializer().run()
    print sess.run(res)
    print sess.run(grads) 

输出结果为:

[[4]]
[array([[2, 1]], dtype=int32)]

可以这样看res与w1有关,w1的参数设为[a1,a2],则:
2*a1 + a2 = res
所以res对a1,a2求导可得 [[2,1]]为w1对应的梯度信息。

import tensorflow as tf  
def gradient_clip(gradients, max_gradient_norm):
    """Clipping gradients of a model."""
    clipped_gradients, gradient_norm = tf.clip_by_global_norm(
            gradients, max_gradient_norm)
    gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)]
    gradient_norm_summary.append(
        tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients)))

    return clipped_gradients
w1 = tf.Variable([[3.0,2.0]])  
# w2 = tf.Variable([[3,4]])  
params = tf.trainable_variables()
res = tf.matmul(w1, [[3.0],[1.]])  
opt = tf.train.GradientDescentOptimizer(1.0)
grads = tf.gradients(res,[w1])  
clipped_gradients = gradient_clip(grads,2.0)
global_step = tf.Variable(0, name='global_step', trainable=False)
#update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step)
with tf.Session() as sess:  
    tf.global_variables_initializer().run()
    print sess.run(res)
    print sess.run(grads)  
    print sess.run(clipped_gradients)

参考:

1、 tensorflow 中的tf.gradients 与 tf.stop_gradient() 函数
2、 tensorflow中操作gradient-clip

以上是关于TensorFlow梯度求解tf.gradients的主要内容,如果未能解决你的问题,请参考以下文章

TensorFlow梯度求解tf.gradients

TensorFlow梯度求解tf.gradients

tensorflow实现svm iris二分类——本质上在使用梯度下降法求解线性回归(loss是定制的而已)

tensorflow实现svm多分类 iris 3分类——本质上在使用梯度下降法求解线性回归(loss是定制的而已)

抑制 Tensorflow 警告

如何解决权重矩阵维度较大的张量流梯度问题?