Tensorflow 3通道颜色输入顺序

Posted 2023-02-23

【中文标题】Tensorflow 3通道颜色输入顺序

【英文标题】：Tensorflow 3 channel order of color inputs

【发布时间】：2017-05-14 19:09:15

【问题描述】：

我正在使用张量流通过卷积神经网络处理彩色图像。下面是一个代码 sn-p。

我的代码运行，所以我认为我的频道数量是正确的。我的问题是，如何正确排序 rgb 数据？它的形式是 rgbrgbrgb 还是 rrrgggbbb？目前我正在使用后者。谢谢。任何帮助将不胜感激。

    c_output = 2
    c_input = 784 * 3

    def weight_variable(shape):
        initial = tf.truncated_normal(shape, stddev=0.1)
        return tf.Variable(initial)

    def bias_variable(shape):
        initial = tf.constant(0.1, shape=shape)
        return tf.Variable(initial)

    def conv2d(x, W):
        return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

    def max_pool_2x2(x):
        return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                              strides=[1, 2, 2, 1], padding='SAME')

    self.c_x = tf.placeholder(tf.float32, shape=[None, c_input])
    self.c_y_ = tf.placeholder(tf.float32, shape=[None, c_output])

    self.W_conv1 = weight_variable([5, 5, 3, 32])
    self.b_conv1 = bias_variable([32])
    self.x_image = tf.reshape(self.c_x, [-1, 28, 28  , 3])
    self.h_conv1 = tf.nn.relu(conv2d(self.x_image, self.W_conv1) + self.b_conv1)
    self.h_pool1 = max_pool_2x2(self.h_conv1)

    self.W_conv2 = weight_variable([5, 5, 32, 64])
    self.b_conv2 = bias_variable([64])

    self.h_conv2 = tf.nn.relu(conv2d(self.h_pool1, self.W_conv2) + self.b_conv2)
    self.h_pool2 = max_pool_2x2(self.h_conv2)

    self.W_fc1 = weight_variable([7 * 7 * 64, 1024])
    self.b_fc1 = bias_variable([1024])

    self.h_pool2_flat = tf.reshape(self.h_pool2, [-1, 7 * 7 * 64 ])
    self.h_fc1 = tf.nn.relu(tf.matmul(self.h_pool2_flat, self.W_fc1) + self.b_fc1)

    self.keep_prob = tf.placeholder(tf.float32)
    self.h_fc1_drop = tf.nn.dropout(self.h_fc1, self.keep_prob)

    self.W_fc2 = weight_variable([1024, c_output])
    self.b_fc2 = bias_variable([c_output])

    self.y_conv = tf.matmul(self.h_fc1_drop, self.W_fc2) + self.b_fc2

    self.c_cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(self.y_conv, self.c_y_))
    self.c_train_step = tf.train.AdamOptimizer(1e-4).minimize(self.c_cross_entropy)
    self.c_correct_prediction = tf.equal(tf.argmax(self.y_conv, 1), tf.argmax(self.c_y_, 1))
    self.c_accuracy = tf.reduce_mean(tf.cast(self.c_correct_prediction, tf.float32))

【参考方案1】：

TL;DR：对于您当前的程序，数据的内存布局应该是 R-G-B-R-G-B-R-G-B-R-G-B...

我从这一行假设您正在传递 28x28 像素的 RGB 图像：

self.x_image = tf.reshape(self.c_x, [-1, 28, 28, 3])

我们可以将self.x_image 的维度称为“batch”、“height”、“width”和“channel”。这与tf.nn.conv_2d() 和tf.nn.max_pool() 的默认数据格式匹配。

在 TensorFlow 中，张量的内存表示是 row-major order（或“C”排序，因为这是 C 编程语言中数组的表示）。本质上，这意味着最右边的维度变化最快，并且张量的元素按以下顺序在内存中打包在一起（其中? 代表未知批量大小，负 1）：

[0,  0,  0,  0]
[0,  0,  0,  1]
[0,  0,  0,  2]
[0,  0,  1,  0]
...
[?, 27, 27,  1]
[?, 27, 27,  2]

因此，您的程序可能没有正确解释图像数据。至少有两种选择：

重塑您的数据以匹配其真实顺序（“batch”、“channels”、“height”、“width”）：

self.x_image = tf.reshape(self.c_x, [-1, 3, 28, 28])

事实上，这种格式有时对卷积更有效。您可以通过传递可选参数data_format="NCHW" 来指示tf.nn.conv2d() 和tf.nn.max_pool() 在不转置的情况下使用它，但您还需要更改偏置变量的形状以匹配。

使用tf.transpose()转置您的图像数据以匹配您的程序的结果：

self.x_image = tf.transpose(tf.reshape(self.c_x, [-1, 3, 28, 28]), [0, 2, 3, 1])

【讨论】：

我也在尝试格式化一些（非图像）数据以使用基于图像的架构进行训练。你提到了“batch”、“height”、“width”、“channel”，但我对这些维度包含的内容有点困惑。我的猜测是 , , , , , , , , , , , 等等。对吗？

几乎：NHWC格式的4维张量中的元素[i, j, k, l]是批处理元素i、y坐标j、x坐标k和通道@的像素987654342@.

哦，当然……我的坐标倒过来了。谢谢！

对此还有一个问题：我的数据不会明确表示每个像素，所以我应该填充空像素吗？或者是否有一个库函数来填充/零像素没有被赋予一个值？

也许tf.image.resize_image_with_crop_or_pad() 对你有用？