有效地使用多个 Numpy 切片进行随机图像裁剪

Posted

技术标签:

【中文标题】有效地使用多个 Numpy 切片进行随机图像裁剪【英文标题】:Efficiently Using Multiple Numpy Slices for Random Image Cropping 【发布时间】:2019-01-24 00:28:39 【问题描述】:

我有一个 4-D numpy 数组,第一个维度表示数据集中图像的数量,第二个和第三个是(相等的)宽度和高度,第四个是通道数 (3) .例如,假设我有 4 张 28*28 的彩色图像,所以我的图像数据如下所示:

X = np.reshape(np.arange(4*28*28*3), (4,28,28,3))

我想为 4 张图片中的每张选择一个 16*16 宽 x 高的随机裁剪。至关重要的是,我希望每个图像的裁剪都不同,即我想生成 4 个随机 (x_offset, y_offset) 对。最后我想访问一个形状数组 (4, 16, 16, 3)。

如果我在 for 循环中编写它,它看起来像这样:

x = np.random.randint(0,12,4)
y = np.random.randint(0,12,4)
for i in range(X.shape[0]):
    cropped_image = X[i, x[i]:x[i]+16, y[i]:y[i]+16, :]
    #Add cropped image to a list or something

但我想尽可能高效地做到这一点,我想知道是否有办法通过大步和花哨的索引来做到这一点。我已经看到了this 问题的答案,但我不能完全理解如何将 stride_tricks 之类的东西与第二和第三(宽度和高度)轴上的步幅的随机起点结合起来。

【问题讨论】:

我刚刚演示了在***.com/questions/51866135/… 中使用的二维as_strided 【参考方案1】:

利用strided-based 方法进行有效的补丁提取

我们可以利用基于scikit-image's view_as_windowsnp.lib.stride_tricks.as_strided 来将仅views 的滑动窗口放入输入数组中,因此不会产生额外的内存开销并且几乎是免费的!我们当然可以直接使用np.lib.stride_tricks.as_strided,但是所需的设置工作很难管理,尤其是在更高维度的数组上。如果scikit-image不可用,我们可以直接使用独立工作的source code

view_as_windows的用法说明

view_as_windows 的想法是,我们将输入参数 window_shape 作为长度与需要滑动窗口的输入数组中的维数相同的元组提供。我们需要沿其滑动的轴输入相应的窗口长度,其余轴输入1s。这将创建一个带有singleton dims/axesviews 数组,即带有lengths=1 的轴对应于1s 参数中的1s。因此,对于这些情况,我们可能希望索引到与馈送1 的轴相对应的第零个元素作为滑动窗口长度,以获得滑动窗口的压缩版本。

因此,我们会有一个解决方案,就像这样 -

# Get sliding windows
from skimage.util.shape import view_as_windows
w = view_as_windows(X, (1,16,16,1))[...,0,:,:,0]

# Index and get our specific windows
out = w[np.arange(X.shape[0]),x,y]

# If you need those in the same format as in the posted loopy code
out = out.transpose(0,2,3,1)

【讨论】:

这是一个非常好的解决方案,谢谢!在接受之前,我会等着看是否有人有一个简洁的 Numpy 解决方案。 @user3390629 使用只需要 NumPy 的 linked source code。只需将该源代码文件复制到工作目录即可。

以上是关于有效地使用多个 Numpy 切片进行随机图像裁剪的主要内容,如果未能解决你的问题,请参考以下文章

如何将 Torch 图像切片为 numpy 图像

5.裁剪和切片(标尺使用)

同时分配 numpy/torch 轴的多个不同切片

[使用Python,NumPy,SciPy使用矩阵乘法对矩阵进行有效切片

使用 numpy 图像切片器在 python 中加入编辑的图像

OpenCV 函数学习09-图像的裁剪(cv2.selectROI)