如何使用变形网格扭曲图像

Posted 2023-04-17

【中文标题】如何使用变形网格扭曲图像

【英文标题】：How to warp an image using deformed mesh

【发布时间】：2019-05-23 06:35:36

【问题描述】：

我正在尝试使用从平板扫描仪获得的图像生成“皱巴巴”的图像。

按照3.1节的论文[Link]中描述的方法。我已经编写了生成扰动网格的代码，但我不知道如何将这些像​​素从源图像映射到这个网格上以形成扰动图像。

这是生成扰动网格的代码。

import numpy as np
import matplotlib.pyplot as plt

mr = 88
mc = 68

xx = np.arange(mr-1, -1, -1)
yy = np.arange(0, mc, 1)
[Y, X] = np.meshgrid(xx, yy)
ms = np.transpose(np.asarray([X.flatten('F'), Y.flatten('F')]), (1,0))

perturbed_mesh = ms
nv = np.random.randint(20) - 1
for k in range(nv):
    #Choosing one vertex randomly
    vidx = np.random.randint(np.shape(ms)[0])
    vtex = ms[vidx, :]
    #Vector between all vertices and the selected one
    xv  = perturbed_mesh - vtex
    #Random movement 
    mv = (np.random.rand(1,2) - 0.5)*20
    hxv = np.zeros((np.shape(xv)[0], np.shape(xv)[1] +1) )
    hxv[:, :-1] = xv
    hmv = np.tile(np.append(mv, 0), (np.shape(xv)[0],1))
    d = np.cross(hxv, hmv)
    d = np.absolute(d[:, 2])
    d = d / (np.linalg.norm(mv, ord=2))
    wt = d
    
    curve_type = np.random.rand(1)
    if curve_type > 0.3:
        alpha = np.random.rand(1) * 50 + 50
        wt = alpha / (wt + alpha)
    else:
        alpha = np.random.rand(1) + 1
        wt = 1 - (wt / 100 )**alpha
    msmv = mv * np.expand_dims(wt, axis=1)
    perturbed_mesh = perturbed_mesh + msmv

plt.scatter(perturbed_mesh[:, 0], perturbed_mesh[:, 1], c=np.arange(0, mr*mc))
plt.show()

这是扰动网格的样子：

这是说明合成图像生成的论文截图：

用于测试的示例源图像： https://i.stack.imgur.com/26KN4.jpg

我坚持将源图像像素映射到网格上。如果有人可以提供帮助，我将不胜感激。

【参考方案1】：

(1) 使用cv2.copyMakeBorder放大图片，避免扭曲点超出原图尺寸范围。

cv2.copyMakeBorder(...)
    copyMakeBorder(src, top, bottom, left, right, borderType[, dst[, value]]) -> dst
    .   @brief Forms a border around an image.
    .
    .   The function copies the source image into the middle of the destination image. The areas to the
    .   left, to the right, above and below the copied source image will be filled with extrapolated
    .   pixels. This is not what filtering functions based on it do (they extrapolate pixels on-fly), but
    .   what other more complex functions, including your own, may do to simplify image boundary handling.

用途：

img = cv2.copyMakeBorder(img, dh, dh, dw, dw, borderType=cv2.BORDER_CONSTANT, value=(0,0,0))

设置dw=nw//2, dh=nh//2 可能没问题，必要时进行调整。 nh, nw 是源图片的高度和宽度。

(2) 使用the method from the paper创建扰动网格

xs, ys = create_grid() # the result is like np.meshgrid

注意确定类型和大小。

# xs = xs.reshape(nh, nw).astype(np.float32)
# nh, nw is the height and width of the coppied image

(3) 使用cv2.remap重新映射：

cv2.remap(...)
    remap(src, map1, map2, interpolation[, dst[, borderMode[, borderValue]]]) -> dst
    .   @brief Applies a generic geometrical transformation to an image.
    .
    .   The function remap transforms the source image using the specified map:
    .   \f[\textttdst (x,y) =  \textttsrc (map_x(x,y),map_y(x,y))\f]

用法：

dst= cv2.remap(img, xs, ys, cv2.INTER_CUBIC)

这是一个演示结果：

(4) 裁剪非零区域并根据需要调整大小：

---

相关：

Converting opencv remap code from c++ to python

Split text lines in scanned document

【讨论】：

您是如何调整网格大小的？当我将cv2.remap 与完整图像大小的网格一起使用时，我收到了一个断言错误。 cv2.error: OpenCV(3.4.2) /io/opencv/modules/imgproc/src/imgwarp.cpp:1728: error: (-215:Assertion failed) dst.cols < 32767 && dst.rows < 32767 && src.cols < 32767 && src.rows < 32767 in function 'remap'

我认为cv2.copyMakeBorder在cv2.remap之后使用会更好

cv2.remap 生成与src 大小相同的结果。首先使用cv2.copyMakeBorder 创建一个更大的src 带边框，这样我们就可以完全包裹src。否则，它是没有用的。那么老实说，我的xs, ys格式是(nheight, nwidth)，见1的链接。

你的opencv版本是多少？

我自己写了 pertubed_mesh。在cv2.remap 之前，我做了这个操作：xs = xs.reshape(nh, nw).astype(np.float32)。注意，nh, nw 是复制图像的高度和宽度。