[翻译] TensorFlow Programmer's Guide之Frequently Asked Questions（问得频率最多的几个问题）

Posted 2020-10-09

 

目录：

1. 特点和兼容性（Features and Compatibility）
2. 建立一个TensorFlow图（Building a TensorFlow graph）
3. 运行一个TensorFlow计算图（Running a TensorFlow computation）
4. 变量（Variables）
5. 张量的形状（Tensor shapes）
6. TensorBoard
7. TensorFlow扩展（Extending TensorFlow）
8. 其他（Miscellaneous）

 

 特点和兼容性

1） 可以在多个计算机上分布式训练么？

可以！TensorFlow从版本0.8开始就支持分布式计算了。TensorFlow现在在一个或多个计算机上支持多个设备（CPUs或者GPUs）。

2） TensorFlow支持Python3么？

0.6.0版本后的TensorFlow，支持Python3.3+。

 

建立一个TensorFlow图（graph）

可以查看建立图的API文档（https://www.tensorflow.org/versions/master/api_guides/python/framework）。

1） 为什么 c = tf.matmul(a, b)不会立即执行矩阵乘法？

在TensorFlow的Python API中，a，b和c都是tf.Tensor对象。一个Tensor对象是一个运算操作结果的符号句柄（a symbolic handle to the result of an operation），但是实际上并没有保存运算操作结果的值。反而，TensorFlow鼓励用户去建立一个复杂的表达式（比如整个神经网络和它的梯度）来作为一个数据流的图。然后你可以将整个数据流的图（或者其中的一个子图）给一个TensorFlow的tf.Session，它比起一个一个地执行运算操作，可以更有效地执行整个计算图。

2） 设备是怎么命名的？

对CPU设备来说，支持的设备名字是"/device:CPU:0"或"/cpu:0"，对GPU来说，是"/device:GPU:i" (或者 "/gpu:i")，其中i表示第i个GPU设备。

3） 我如何将一个运算操作在指定的设备上运行？

将一组运算操作放置在指定设备上，可以将这些运算操作创建在 with tf.device(name):下。TensorFlow如何将运算操作绑定在设备的详细情况可以查看文档 using GPUs with TensorFlow。CIFAR-10 tutorial 是如何使用多GPU的一个例子。

 

运行一个TensorFlow计算图

1） feeding和placeholder之间是怎么处理的？

Feeding是TensorFlow Session API中的一种机制，它可以允许你在运行时给一个或者多个tensor替换不同的值。tf.Session.run中feed_dict的参数一个映射tf.Tensor对象到numpy数组（或者其他一些类型）的字典，作为这些tensor每执行一步时的值。

一般地，你有某些特定的tensor，比如说输出，需要不停地提供数据。tf.placeholder操作符允许你定义一个必须被fed的tensor，其中你可以选择是否限制这些tensor的形状。可以查看 beginners‘ MNIST tutorial ，这是一个介绍placeholders和feeding如何为一个神经网络提供训练数据的例子。

2） Session.run() and Tensor.eval()的区别是什么？

如果t是一个tf.Tensor对象，tf.Tensor.eval是tf.Session.run的速写方法。下面两个代码是等价的：

# Using `Session.run()`.
sess = tf.Session()
c = tf.constant(5.0)
print(sess.run(c))

# Using `Tensor.eval()`.
c = tf.constant(5.0)
with tf.Session():
  print(c.eval())

 

在第二个例子中，session是一个上下文管理器（ context manager），在with tf.Session():生命周期里面，默认的都是该session的。这个上下文管理器对一些简单的应用（如单元测试）有更简洁的代码。如果你的代码同时处理多个图（graph）和session，那么最好还是使用Session.run()来使程序变得更明确。

 

3） Session有生命周期么？中间过程产生的tensor呢？

Session可以拥有资源，比如说 tf.Variable, tf.QueueBase,和tf.ReaderBase，这些资源占用了大量的内存空间。当session被关闭时（通过 tf.Session.close调用），这些资源（还有其对应的内存）将被释放。

作为调用Session.run()产生一部分中间tensor，会在调用该语句结束的时候或者之前被释放。

4） 运行时是否将计算图执行的部分并行化？

在多个不同的维度上，TensorFlow运行时并行化图形的执行：

（1）     单个运算操作有并行实现，使用一个CPU的多个核心，或者一个GPU的多个线程

（2）     在TensorFlow计算图中独立的节点可以在不同的设备上并行运行，因此可以使训练时使用多个GPU加速。可以查看这个例子： CIFAR-10 training using multiple GPUs。

（3）     Session API允许多个并行的步骤（比如并行调用 tf.Session.run）。这可以使运行时获得更高的吞吐量，如果单个步骤没有使用完你计算机上所有的资源的话。

5） TensorFlow支持什么语言调用？

TensorFlow被设计支持多种不同的语言调用。目前，Python是支持最好的语言。C++、Java和Go也支持执行和构造计算图。

TensorFlow也有一个基于C语言的API，来支持更多其他语言。

6） TensorFlow会充分利用计算机上所有可用的设备（CPU和GPU）么？

TensorFlow支持多CPU和GPU。TensorFlow如何将运算操作分配到设备上的细节可用去看文档 using GPUs with TensorFlow； CIFAR-10 tutorial是一个使用多GPU模型的例子。

注意：TensorFlow仅仅支持计算能力大于3.5的GPU设备。

7） 当使用一个reader 或者一个queue时，Session.run()为什么会暂停/终止?

 tf.ReaderBase 和 tf.QueueBase两个类提供了特殊的操作，会使系统阻塞，直到可以使用输入（或者有界列队中有空余空间）。这些操作允许你建立更为精细的输出管道（ input pipelines），当然另一方面会使TensorFlow计算变得更加复杂。可以查看 using QueueRunner objects to drive queues and readers 来获取更多如何使用它们的知识。

 

变量（Variables）

有关变量的知识可以查看 the API documentation for variables.。

1） 变量的生命周期是什么？

当你在一个会话（session）中运行tf.Variable.initializer操作时，一个变量将会被创建；当那个session被关闭时，该变量将被销毁。

2） 当变量同时被访问时，它们是怎么运作的？

变量允许并行读取和写入操作。当一个变量被并行地更新时，如果这时候读取这个变量，那么读取的值可能会改变。默认的情况下，对一个变量并行分配操作是允许在没有互斥锁的情况下运行。当操作一个变量时，为了可以对tf.Variable.assign传递use_locking=True来获取一个锁。

 

张量的形状（Tensor shapes）

也可以查看tf.TensorShape。

1） 在Python中我们如何确定tensor的形状？

在TensorFlow中，一个tensor同时拥有一个静态（inferred）的形状和一个动态（true）的形状。静态的形状可以使用tf.Tensor.get_shape方法读取，这个读取的形状是创建tensor操作中推断出来的，可能是部分正确的。如果静态的形状没有完全被定义，那么一个Tensor类型的t的动态的形状可以使用 tf.shape(t)获得。

2） x.set_shape()和x=tf.reshape(x)之间的区别是什么？

tf.Tensor.set_shape方法更新一个Tensor对象的静态形状，这一般用于当不能被直接推断出来时，提供额外的形状信息。这个并不会改变tensor的动态形状。

_, image_data = tf.TFRecordReader(...).read(...)

image = tf.image.decode_png(image_data, channels=3)



# The height and width dimensions of `image` are data dependent, and

# cannot be computed without executing the op.

print(image.shape)

==> TensorShape([Dimension(None), Dimension(None), Dimension(3)])



# We know that each image in this dataset is 28 x 28 pixels.

image.set_shape([28, 28, 3])

print(image.shape)

==> TensorShape([Dimension(28), Dimension(28), Dimension(3)])

 

tf.reshape 操作创建了一个新的、动态形状不同的tensor。

# tensor ‘t‘ is [1, 2, 3, 4, 5, 6, 7, 8, 9]

# tensor ‘t‘ has shape [9]

reshape(t, [3, 3]) ==> [[1, 2, 3],

                        [4, 5, 6],

                        [7, 8, 9]]



# tensor ‘t‘ is [[[1, 1], [2, 2]],

#                [[3, 3], [4, 4]]]

# tensor ‘t‘ has shape [2, 2, 2]

reshape(t, [2, 4]) ==> [[1, 1, 2, 2],

                        [3, 3, 4, 4]]

 

 

3） 如何建立一个batch size可变的计算图？

建立一个batch size可变的计算图一般都是很有用的，比如相同的代码可以用于（mini-）batch training，single-instance inference。最后结果的计算图可以保存为一个protocol buffer（ saved as a protocol buffer），导入进另外一个程序中（ imported into another program）。

当建立一个可以大小的计算图时，最重要的事情是记住不要将batch size编码为Python的常量，而是要使用一个Tensor来表示它。下面两个说明可能是有用的：

（1）     使用batch_size = tf.shape(input)[0]从一个称为input的Tensor提取batch的维度，并且保存为名字叫batch_size的Tensor 。

（2）     使用tf.reduce_mean而不是tf.reduce_sum(...) / batch_size。

 

TensorBoard

1） 如何可视化TensorFlow计算图？

查看教程graph visualization tutorial。

2） 把数据送到TensorBoard的最简单的方式是什么？

将summary ops加入到你的TensorFlow graph中，然后将这些summaries写到一个log目录下。接下来就可以使用如下命名启动TensorBoard：

python tensorflow/tensorboard/tensorboard.py --logdir=path/to/log-directory

更多细节，可以查看 Summaries and TensorBoard tutorial。

3） 每次启动启动TensorBoard，就会弹出一个网络安全警告

你可以通过flag --host=localhost，来改变TensorBoard浏览器中的地址为localhost，而不是‘0.0.0.0’。

 

TensorFlow扩展（Extending TensorFlow）

1） 我的数据是自定义的格式，我如何使用TensorFlow读取该数据？

有3种主要的方法来处理自定义格式的数据。

最简单的方式是再Python中写一个解析代码，将该数据转换为一个numpy array。然后使用 tf.contrib.data.Dataset.from_tensor_slices从内存数据中创建一个输入管道（pipeline）。

2） 如果你的数据在内存中不合适（原话是：If your data doesn‘t fit in memory），那么尝试在Dataset pipeline中做解析。从一个合适的file reader开始，比如tf.contrib.data.TextLineDataset。然后通过映射（mapping）合适的操作转换数据集。更倾向于使用已经定义好的TensorFlow Operations，比如tf.decode_raw, tf.decode_csv, tf.parse_example, or tf.image.decode_png。

3） 如果你的数据在使用TensorFlow自带函数不容易解析的情况下，可以考虑线下将其转换为可以容易解析的数据，比如${tf.python_io.TFRecordWriter$TFRecord} 格式。

 

还有一个更加有效的解析数据的方法就是增加一个用C++写的新的op，一个可以解析你数据的op。可以参考 guide to handling new data formats。

 

其他

1） TensorFlow的编码风格是什么？

TensorFlow Python API遵守 PEP8编码风格。我们对类使用CamelCase风格，对函数、方法、属性（functions, methods, and properties）使用snake_case风格。我们也遵守 Google Python style guide。

TensorFlow C++代码遵守Google C++ style guide。

 

原文链接：https://www.tensorflow.org/versions/master/programmers_guide/faq