Tensorflow 可变图像输入大小(自动编码器,放大...)
Posted
技术标签:
【中文标题】Tensorflow 可变图像输入大小(自动编码器,放大...)【英文标题】:Tensorflow variable image input size (autoencoder, upscaling ...) 【发布时间】:2022-01-11 07:22:05 【问题描述】:我一直在寻找解决方案,关于如何使用不同大小的图像作为我的 NN 输入。
麻木
第一个想法是使用numpy
。但是由于每个图像的大小不同,我无法使用它,因为 tensorflow 不会接受numpy.ndarray
。
尝试简单的list
也不起作用,因为它不受支持。
数据集生成器
尝试使用yield
实现自定义生成器,但遇到了errors
的负载:
完成 GeneratorDataset 迭代器时发生错误:已取消:操作已取消
使用数据集作为输入时不支持 tensorflow y 参数
没有为任何变量提供渐变
生成器产生了一个形状为 (50, 50, 3) 的元素,其中预期的是一个形状为 (None, None, None, 3) 的元素
tensorflow 无法转换为 tensorflow dtype
tensorflow 占位符与急切执行不兼容
在尝试有关如何实施生成器的不同解决方案(来自 SO 和其他站点)时发生了这些错误和其他错误。
文件结构
/1
-0.png
-1.png
/2
-0.png
-1.png
/3
-0.png
-1.png
文件夹内的图片1
为 50x50 像素,2
为 100x100 像素,3
为 200x200 像素。
升级模型
input_img = keras.Input(shape=(None, None, 3))
upscaled = layers.UpSampling2D((2, 2), interpolation='bilinear')(input_img)
out = layers.Conv2D(3, (3, 3), activation='sigmoid', padding='same')(upscaled)
conv_model = keras.Model(input_img, out)
conv_model.compile(optimizer='adam', loss=tf.keras.losses.MeanSquaredError())
【问题讨论】:
【参考方案1】:经过数小时的研究,我找到了解决方案。我的具体答案是输入图像,目标是将其放大 2 倍。
加载所有输入和输出(目标)数据的路径:
path = 'path_to_parent_dir'
in_paths = [path + '/1/' + f for f in ['0.png', '1.png']] + [path + '/2/' + f for f in ['0.png', '1.png']]
out_paths = [path + '/2/' + f for f in ['0.png', '1.png']] + [path + '/3/' + f for f in ['0.png', '1.png']]
发电机:
def data_generator(in_paths, out_paths):
for i in range(len(in_paths)):
yield cv2.imread(in_paths[i]) / 255, cv2.imread(out_paths[i]) / 255
转换为数据集
train_dataset = tf.data.Dataset.from_generator(
lambda: data_generator(in_paths, out_paths),
output_types=(tf.float32, tf.float32),
output_shapes=((None, None, 3), (None, None, 3))
).batch(1)
validate_dataset = tf.data.Dataset.from_generator(
lambda: data_generator(in_paths, out_paths),
output_types=(tf.float32, tf.float32),
output_shapes=((None, None, 3), (None, None, 3))
).batch(1)
lambda
函数是必需的,因为from_generator
不接受生成器,而是对函数本身的引用(因此没有参数)。可以在from_generator
中使用args=()
,但在我的情况下,数据(路径)被转换为类似字节的对象,所以它对我不起作用。
警告
这只是一个示例,它使用相同的数据进行训练和验证(这很愚蠢)。请在调整此解决方案时为每个使用不同的数据。
培训
conv_model.fit(
train_dataset,
epochs=1,
validation_data=validate_dataset
)
自动分片策略
这个工作流程在每个 epoch 之后(或者在期间,或者在随机时间,真的)会产生一个非常长的警告消息,建议关闭自动分片或将 auto_shard_policy 切换为 DATA 以对数据集进行分片。
但这只是一个警告,因此即使使用它也可以。有一个关于如何禁用它的解决方案:so link
另类
我还找到了另一种方法来完成这项工作。不同之处在于,它必须生成不同类型的输出(元组的元组)。不确定哪种方式是正确的,或者它们是否等效。
def data_generator_(in_paths, out_paths):
for i in range(len(in_paths)):
yield (cv2.imread(in_paths[i]) / 255, ), (cv2.imread(out_paths[i]) / 255, )
train_dataset = tf.data.Dataset.from_generator(
lambda: data_generator_2(in_paths, out_paths),
output_types=(tf.float32, tf.float32),
output_shapes=((None, None, None, 3), (None, None, None, 3))
)
validate_dataset = tf.data.Dataset.from_generator(
lambda: data_generator_2(in_paths, out_paths),
output_types=(tf.float32, tf.float32),
output_shapes=((None, None, None, 3), (None, None, None, 3))
)
conv_model.fit(
train_dataset,
epochs=1,
batch_size=1,
validation_data=validate_dataset
)
这真的很痛苦,希望它对某人有所帮助。
【讨论】:
以上是关于Tensorflow 可变图像输入大小(自动编码器,放大...)的主要内容,如果未能解决你的问题,请参考以下文章