图像配准图像融合再探索/图像像素点遍历加速

Posted zstar-_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了图像配准图像融合再探索/图像像素点遍历加速相关的知识,希望对你有一定的参考价值。

前言

在我先前的博文【图像配准】多图配准/不同特征提取算法/匹配器比较测试中,提到了图像融合的一种方式,相关代码如下:

result[0:imageB.shape[0], 0:imageB.shape[1]] = np.maximum(imageB, result[0:imageB.shape[0], 0:imageB.shape[1]])

该融合思路是两幅图重复的部分取两者的较大值。
不过在后续实验中,遇到的一个问题是,如果某张图上有一些颜色标记,那么在用取大融合之后,标记颜色会发生变化。
因此,更合理的融合方式是重叠部分直接采用一幅图的原图。

实现思路

方式一:纯像素遍历

要实现该功能,最容易想到的就是来个双循环遍历所有像素:

def merge(imageB, result):
    for r in range(imageB.shape[0]):
        for c in range(imageB.shape[1]):
            # print(result[r, c])
            # print(type(result[r, c]))  #  <class 'numpy.ndarray'>
            if result[r, c, 0] == 0:
                result[r, c] = imageB[r, c]
    return result

imageB是需要融合上的图片,result是已根据imageB做仿射变换的图像。这里的思路是根据imageB的范围在result中进行搜寻,如果是黑色部分,则用imageB的位置替代。
注:这里判断黑色稍微取巧了一些,result的第三个维度通常包含(r,g,b)(如果用opencv直接读取则是(b,g,r)),纯黑的r,g,b是(0,0,0),通常来说,只要一个通道为0就可以认定其为黑色,因为自然图像中很少包含纯色,通常都是三通道混杂的颜色。
如果需要严格判断纯色,可以将判断语句修改为:

if (result[r, c] == np.array((0, 0, 0))).all():
    result[r, c] = imageB[r, c]

采用两张7k x 5k分辨率的图片做配准融合,所耗费的时间为:138.10秒。

方式二:纯像素遍历+GPU

显然,配准两张图片花费2分多种实在是太慢了,遍历像素点的计算太多,CPU效率不够快。那么,是否可以将该部分的计算放到GPU中去进行呢?当然可以,Numba提供非常方便的装饰器。

Numba是Nvidia开发的一个适用于 Python 代码的开源式即时编译器。
Numba的具体介绍可参考官方的介绍文档:https://www.nvidia.cn/glossary/data-science/numba/

使用起来很容易,在原函数上加一个装饰器即可。

from numba import jit

@jit
def merge(imageB, result):
    for r in range(imageB.shape[0]):
        for c in range(imageB.shape[1]):
            # print(result[r, c])
            # print(type(result[r, c]))  #  <class 'numpy.ndarray'>
            if (result[r, c] == np.array((0, 0, 0))).all():
                result[r, c] = imageB[r, c]
    return result

采用两张7k x 5k分辨率的图片做配准融合,所耗费的时间为:20.85秒,提升非常明显。

方法三:np.where

既然遍历像素效率太低,那么可以使用numpy的where函数来搜寻范围,numpy封装了一些并行计算的方式,可以极大提升效率。

rows, cols = np.where(result[:imageB.shape[0], :imageB.shape[1], 0] == 0)
result[rows, cols] = imageB[rows, cols]

使用时仅需两行代码,替代了上述两个复杂的for循环。
采用两张7k x 5k分辨率的图片做配准融合,所耗费的时间为:14.54秒,速度进一步提升。

总结

涉及到搜寻像素范围时,优先使用np.where;遇到密集计算时,可以尝试用@jit进行GPU加速。

完整代码

import pickle
import time
from numba import jit
import cv2
import numpy as np


# 去除图像黑边
def cutBlack(pic):
    rows, cols = np.where(pic[:, :, 0] != 0)
    min_row, max_row = min(rows), max(rows) + 1
    min_col, max_col = min(cols), max(cols) + 1
    return pic[min_row:max_row, min_col:max_col, :]


# merge
@jit
def merge(imageB, result):
    for r in range(imageB.shape[0]):
        for c in range(imageB.shape[1]):
            # print(result[r, c])
            # print(type(result[r, c]))  #  <class 'numpy.ndarray'>
            if (result[r, c] == np.array((0, 0, 0))).all():
                result[r, c] = imageB[r, c]
    return result


if __name__ == '__main__':
    s_t = time.time()
    with open("H.pkl", "rb") as f:
        H = pickle.load(f)
    imageA = cv2.imread("one_line/DSC01026.JPG")
    imageB = cv2.imread("one_line/DSC01027.JPG")
    result = cv2.warpPerspective(imageA, H,
                                 ((imageA.shape[1] + imageB.shape[1]) * 2, (imageA.shape[0] + imageB.shape[0]) * 2))
    # 问题:merge这里叠加-某些颜色变淡
    # result[0:imageB.shape[0], 0:imageB.shape[1]] = np.maximum(imageB, result[0:imageB.shape[0], 0:imageB.shape[1]])
    # 方法一/二:像素点遍历:
    # result = merge(imageB, result)
    # 方法三:np.where
    rows, cols = np.where(result[:imageB.shape[0], :imageB.shape[1], 0] == 0)
    result[rows, cols] = imageB[rows, cols]
    result = cutBlack(result)  # 结果去除黑边
    cv2.imwrite("through.tif", result[:, :, [0, 1, 2]])
    e_t = time.time()
    print("耗时:", e_t - s_t)

以上是关于图像配准图像融合再探索/图像像素点遍历加速的主要内容,如果未能解决你的问题,请参考以下文章

基于超像素分割和图像配准的深度图像修复方法

基于FPGA的图像Harris特征点提取以及图像配准系统开发

图像融合基于matlab多分辨率奇异值分解图像融合含Matlab源码 2374期

学习笔记4--医学图像重建与可视化医学图像的配准与融合

OpenCV 图像拼接

图像融合红外与可见光的融合与配准算法matlab源码