Tensorflow 可变图像输入大小(自动编码器,放大...)

Posted

技术标签:

【中文标题】Tensorflow 可变图像输入大小(自动编码器,放大...)【英文标题】:Tensorflow variable image input size (autoencoder, upscaling ...) 【发布时间】:2022-01-11 07:22:05 【问题描述】:

我一直在寻找解决方案,关于如何使用不同大小的图像作为我的 NN 输入。

麻木

第一个想法是使用numpy。但是由于每个图像的大小不同,我无法使用它,因为 tensorflow 不会接受numpy.ndarray

尝试简单的list 也不起作用,因为它不受支持。

数据集生成器

尝试使用yield 实现自定义生成器,但遇到了errors 的负载: 完成 GeneratorDataset 迭代器时发生错误:已取消:操作已取消 使用数据集作为输入时不支持 tensorflow y 参数 没有为任何变量提供渐变 生成器产生了一个形状为 (50, 50, 3) 的元素,其中预期的是一个形状为 (None, None, None, 3) 的元素 tensorflow 无法转换为 tensorflow dtype tensorflow 占位符与急切执行不兼容

在尝试有关如何实施生成器的不同解决方案(来自 SO 和其他站点)时发生了这些错误和其他错误。

文件结构

/1
  -0.png
  -1.png
/2
  -0.png
  -1.png
/3
  -0.png
  -1.png

文件夹内的图片1 为 50x50 像素,2 为 100x100 像素,3 为 200x200 像素。

升级模型

input_img = keras.Input(shape=(None, None, 3))

upscaled = layers.UpSampling2D((2, 2), interpolation='bilinear')(input_img)
out = layers.Conv2D(3, (3, 3), activation='sigmoid', padding='same')(upscaled)

conv_model = keras.Model(input_img, out)
conv_model.compile(optimizer='adam', loss=tf.keras.losses.MeanSquaredError())

【问题讨论】:

【参考方案1】:

经过数小时的研究,我找到了解决方案。我的具体答案是输入图像,目标是将其放大 2 倍。

加载所有输入和输出(目标)数据的路径:

path = 'path_to_parent_dir'
in_paths = [path + '/1/' + f for f in ['0.png', '1.png']] + [path + '/2/' + f for f in ['0.png', '1.png']]
out_paths = [path + '/2/' + f for f in ['0.png', '1.png']] + [path + '/3/' + f for f in ['0.png', '1.png']]

发电机:

def data_generator(in_paths, out_paths):

    for i in range(len(in_paths)):
        yield cv2.imread(in_paths[i]) / 255, cv2.imread(out_paths[i]) / 255

转换为数据集

train_dataset = tf.data.Dataset.from_generator(
    lambda: data_generator(in_paths, out_paths), 
    output_types=(tf.float32, tf.float32), 
    output_shapes=((None, None, 3), (None, None, 3))
).batch(1)

validate_dataset = tf.data.Dataset.from_generator(
    lambda: data_generator(in_paths, out_paths), 
    output_types=(tf.float32, tf.float32), 
    output_shapes=((None, None, 3), (None, None, 3))
).batch(1)

lambda 函数是必需的,因为from_generator 不接受生成器,而是对函数本身的引用(因此没有参数)。可以在from_generator 中使用args=(),但在我的情况下,数据(路径)被转换为类似字节的对象,所以它对我不起作用。

警告

这只是一个示例,它使用相同的数据进行训练和验证(这很愚蠢)。请在调整此解决方案时为每个使用不同的数据。

培训

conv_model.fit(
    train_dataset,
    epochs=1,
    validation_data=validate_dataset
)

自动分片策略

这个工作流程在每个 epoch 之后(或者在期间,或者在随机时间,真的)会产生一个非常长的警告消息,建议关闭自动分片或将 auto_shard_policy 切换为 DATA 以对数据集进行分片。

但这只是一个警告,因此即使使用它也可以。有一个关于如何禁用它的解决方案:so link

另类

我还找到了另一种方法来完成这项工作。不同之处在于,它必须生成不同类型的输出(元组的元组)。不确定哪种方式是正确的,或者它们是否等效。

def data_generator_(in_paths, out_paths):

    for i in range(len(in_paths)):
        yield (cv2.imread(in_paths[i]) / 255, ), (cv2.imread(out_paths[i]) / 255, )
train_dataset = tf.data.Dataset.from_generator(
    lambda: data_generator_2(in_paths, out_paths), 
    output_types=(tf.float32, tf.float32), 
    output_shapes=((None, None, None, 3), (None, None, None, 3))
)

validate_dataset = tf.data.Dataset.from_generator(
    lambda: data_generator_2(in_paths, out_paths), 
    output_types=(tf.float32, tf.float32), 
    output_shapes=((None, None, None, 3), (None, None, None, 3))
)
conv_model.fit(
    train_dataset,
    epochs=1,
    batch_size=1,
    validation_data=validate_dataset
)

这真的很痛苦,希望它对某人有所帮助。

【讨论】:

以上是关于Tensorflow 可变图像输入大小(自动编码器,放大...)的主要内容,如果未能解决你的问题,请参考以下文章

如何在 keras 中提供可变大小的图像作为输入

『TensorFlow』图像预处理_

自动编码器以减少输入数据大小

具有可变图像大小和自动布局的 UICollectionViewCell

Tensorflow 自动编码器 - 如何计算重构误差?

在 Matlab 编码器中使用可变大小的参数