TensorFlow 实战—— tf train(优化算法)
Posted siwnhwxh
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow 实战—— tf train(优化算法)相关的知识,希望对你有一定的参考价值。
- tf 下以大写字母开头的含义为名词的一般表示一个类(class)
1. 优化器(optimizer)
优化器的基类(Optimizer base class)主要实现了两个接口,一是计算损失函数的梯度,二是将梯度作用于变量。tf.train 主要提供了如下的优化函数:
- tf.train.Optimizer
- tf.train.GradientDescentOptimizer
- tf.train.AdadeltaOpzimizer
- Ada delta
- tf.train.AdagradDAOptimizer
- tf.train.MomentumOptimizer
- tf.train.AdamOptimizer
- tf.train.FtrlOptimizer
- tf.train.ProximalGradientDescentOptimizer
- tf.train.ProximalAdagradOptimizer
- tf.train.RMSPropOptimizer
2. 梯度计算
TensorFlow 同时也提供了给定 TensorFlow 计算图(computation graph)的导数。上节提到的优化器类(optimizer classes)会自动计算 computation graph 的导数,但用户自定义优化器时,可以使用如下低级别的函数:
- tf.gradients
- tf.AggregationMethod
- tf.stop_gradient
- tf.hessians
2. 学习率衰减(decaying the learning rate)
-
tf.train.exponential_decay
# 实现的是如下的操作 decayed_lr = lr * decay_rate ^ (global_step/decay_steps)
- 1
- 2
- 3
- 4
在其 tf 下的使用为:
- 1
lr = tf.train.exponential_decay(0.1, global_step, 100, .96, staircase=True)
- 1
-
tf.train.inverse_time_decay
- tf.train.natural_exp_decay
- tf.train.piecewise_constant
- tf.train.polynomial_decay
再分享一下我老师大神的人工智能教程吧。零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow
以上是关于TensorFlow 实战—— tf train(优化算法)的主要内容,如果未能解决你的问题,请参考以下文章
TensorFlow tf.train.Example和TFRecord的实战学习
TensorFlow tf.train.Example和TFRecord的实战学习
Tensorflow tf.train.Saver 不保存所有变量
tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数(转)
TensorFlow:当批次完成训练时,tf.train.batch 会自动加载下一批吗?
如何使用 DataSet API 在 Tensorflow 中为 tf.train.SequenceExample 数据创建填充批次?