[翻译] Tensorflow中name scope和variable scope的区别是什么

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[翻译] Tensorflow中name scope和variable scope的区别是什么相关的知识,希望对你有一定的参考价值。

翻译自:https://stackoverflow.com/questions/35919020/whats-the-difference-of-name-scope-and-a-variable-scope-in-tensorflow

 

问题:下面这几个函数的区别是什么?

tf.variable_op_scope(values, name, default_name, initializer=None)
Returns a context manager for defining an op that creates variables. This context manager validates that the given values are from the same graph, ensures that that graph is the default graph, and pushes a name scope and a variable scope.

tf.op_scope(values, name, default_name=None) Returns a context manager for use when defining a Python op. This context manager validates that the given values are from the same graph, ensures that that graph is the default graph, and pushes a name scope.

tf.name_scope(name)
Wrapper for Graph.name_scope() using the default graph. See Graph.name_scope() for more details.

tf.variable_scope(name_or_scope, reuse=None, initializer=None)
Returns a context for variable scope. Variable scope allows to create new variables and to share already created ones while providing checks to not create or share by accident. For details, see the Variable Scope How To, here we present only a few basic examples.

 

回答1:

       首先简单介绍一下变量共享(variable sharing)。这是Tensorflow中的一种机制,它允许在代码的不同位置可以访问到共享变量(在不需要传递变量引用的情况下)。tf.get_variable方法可以将变量的名字作为参数,以创建具有该名称的新变量或者如果已经存在这个变量了,就取回这个变量。这与 tf.Variable是不同的。每次调用 tf.Variable都会创建一个新的变量(如果具有此名称的变量已经存在,则可能向变量名添加后缀)。针对共享变量机制,引进了scope (variable scope) 。

 

       结果,我们有2中不同的scopes类型:

这两个scopes在所有的操作(operation)和使用tf.Variable创建的变量上都有相同的作用。

       然而,tf.get_variable会忽略name scope,我们可以看看如下的例子:

with tf.name_scope("my_scope"):
    v1 = tf.get_variable("var1", [1], dtype=tf.float32)
    v2 = tf.Variable(1, name="var2", dtype=tf.float32)
    a = tf.add(v1, v2)

print(v1.name)  # var1:0
print(v2.name)  # my_scope/var2:0
print(a.name)   # my_scope/Add:0

       在一个scope中使用tf.get_variable来使得变量可以被访问唯一方法就是使用一个variable scope,例子如下:

with tf.variable_scope("my_scope"):
    v1 = tf.get_variable("var1", [1], dtype=tf.float32)
    v2 = tf.Variable(1, name="var2", dtype=tf.float32)
    a = tf.add(v1, v2)

print(v1.name)  # my_scope/var1:0
print(v2.name)  # my_scope/var2:0
print(a.name)   # my_scope/Add:0

       这可以使得我们在程序的不同地方可以很容易的共享变量,甚至在不同的name scope中:

with tf.name_scope("foo"):
    with tf.variable_scope("var_scope"):
        v = tf.get_variable("var", [1])
with tf.name_scope("bar"):
    with tf.variable_scope("var_scope", reuse=True):
        v1 = tf.get_variable("var", [1])
assert v1 == v
print(v.name)   # var_scope/var:0
print(v1.name)  # var_scope/var:0

 

更新:

Tensorflow版本r0.11之后,op_scope 和 variable_op_scope都被弃用了,替代的是op_scope 和 variable_op_scope

 

 

回答2:

       举了一个例子,并将其可视化。

import tensorflow as tf
def scoping(fn, scope1, scope2, vals):
    with fn(scope1):
        a = tf.Variable(vals[0], name=\'a\')
        b = tf.get_variable(\'b\', initializer=vals[1])
        c = tf.constant(vals[2], name=\'c\')
        with fn(scope2):
            d = tf.add(a * b, c, name=\'res\')

        print \'\\n  \'.join([scope1, a.name, b.name, c.name, d.name]), \'\\n\'
    return d

d1 = scoping(tf.variable_scope, \'scope_vars\', \'res\', [1, 2, 3])
d2 = scoping(tf.name_scope,     \'scope_name\', \'res\', [1, 2, 3])

with tf.Session() as sess:
    writer = tf.summary.FileWriter(\'logs\', sess.graph)
    sess.run(tf.global_variables_initializer())
    print sess.run([d1, d2])
    writer.close()

 

输出结果如下:

scope_vars
  scope_vars/a:0
  scope_vars/b:0
  scope_vars/c:0
  scope_vars/res/res:0 

scope_name
  scope_name/a:0
  b:0
  scope_name/c:0
  scope_name/res/res:0 

在TensorBoard中可视化如下:

 

 

从上面的可以看出来,tf.variable_scope()为所有变量(不管你是怎么创建的)、操作(ops)、常量(constant)添加一个前缀,而tf.name_scope()会忽视使用tf.get_variable()创建的变量,因为它假设你知道你使用的变量位于哪个scope中。

 

 Sharing variables文档中告诉你:

tf.variable_scope(): Manages namespaces for names passed to tf.get_variable().

 

更详细的可以查看官方文档。

 

以上是关于[翻译] Tensorflow中name scope和variable scope的区别是什么的主要内容,如果未能解决你的问题,请参考以下文章

锐眼洞察 | TensorFlow在企业中的应用——深度学习生态概述 ②(翻译)

翻译: Keras 标准化:TensorFlow 2.0 中高级 API 指南

TensorFlow文档翻译-01-TensorFlow入门

[翻译]第三章(2)TensorFlow graphs

[翻译] 使用 TensorFlow 进行分布式训练

Tensorflow - 机器翻译解码器