[OpenCV实战]32 使用OpenCV进行非真实感渲染

Posted 2022-05-07 liferecords

有人认为使用高斯内核简单地模糊图像，检测边缘，并将两个图像组合以获得上面所示卡通化图像。虽然在大多数区域中所有图像看起来都很平滑之后，边缘会被保留。结果看起来很荒谬; 这是一个糟糕的主意。通过双边滤波可以完成这项工作，双边滤波可能是计算机视觉中最常用的边缘平滑滤波器，但它很慢。你永远不会在实时应用程序中使用它。我很高兴看到在OpenCV 3中非常快速地实现了保边滤波器。结果与双边滤波非常相似，但速度更快。这是SIGGRAPH 2011论文Domain transform for edge-aware image and video processing实现。论文作者为Eduardo Gastal and Manuel Oliveira。论文见：

保边滤波器详细见：

1 保边滤波的频域变换

作者Eduardo Gastal在他的项目页面上提供了很多材料来解释论文及其应用。详细链接见：

在OpenCV 3中，本文使用Photo模块下的Computational Photography子模块中的四个函数实现。以下部分通过示例解释这些功能及其参数。在所有示例中，我们将使用下面的图像作为输入图像。

1.1 保边滤波器Edge Preserving Filter

1.1.1 函数调用

OpenCV中保边滤波器调用函数为edgePreservingFilter。

函数具体调用如下：

C++:

edgePreservingFilter(Mat src, Mat dst, int flags=1, float sigma_s=60, float sigma_r=0.4f)

Python:

dst = cv2.edgePreservingFilter(src, flags=1, sigma_s=60, sigma_r=0.4)

函数具体参数如下：

SRC：8位3通道输入图像

DST：8位3通道输出图像

Flag：保变滤波器类型。取值RECURS_FILTER（递归滤波）= 1和NORMCONV_FILTER（归一化卷积）= 2。使用RECURS_FILTER选项比NORMCONV_FILTER快约3.5倍。但NORMCONV_FILTER产生边缘锐化。当不希望锐化时，要求速度应该使用RECURS_FILTER。

sigma_s：范围在0到200之间（详见下文）

sigma_r：范围在0到1之间（详见下文）

参数sigma_s和sigma_r是什么意思？

图像处理和计算机视觉中的大多数平滑滤波器（例如高斯滤波器或盒式滤波器）具有称为sigma_s（用于Sigma_Spatial）的参数，其确定平滑量。典型的平滑滤波器通过其邻居的加权和来替换像素的值。邻域越大，过滤后的图像越平滑。邻域的大小与参数sigma_s成正比。

在保边滤波器中，有两个相互竞争的目标：a）平滑图像b）不平滑边缘/颜色边界。换句话说，我们不能简单地用它的邻居的加权和来代替像素的颜色。相反，我们想要将像素中的颜色值替换为邻域中的像素的平均值，使其也具有与像素类似的颜色。所以我们有两个参数：sigma_s和sigma_r。就像其他平滑滤波器一样，sigma_s控制邻域的大小，sigma_r（用于sigma_range）控制邻域内的不同颜色的平均值。较大的sigma_r导致大面积的恒定颜色区域。

1.1.2 edgePreservingFilter结果

将edgePreservingFilter与RECURS_FILTER一起应用的结果如下所示：

施加edgePreservingFilter与NORMCONV_FILTER的结果如下所示：

正如您所看到的，两个结果非常接近，因此我建议使用  RECURS_FILTER， 因为它比NORMCONV_FILTER快。

1.2 细节增强

顾名思义，过滤器可以增强细节，使图像更清晰。调用参数如下：

C++:

detailEnhance(Mat src, Mat dst, float sigma_s=10, float sigma_r=0.15f)

Python:

dst = cv2.detailEnhance(src, sigma_s=10, sigma_r=0.15)

参数与保边滤波器调用相同。下图显示了结果细节增强过滤器。请注意，整个图像比输入图像更清晰。

1.3 素描滤波器

此过滤器生成的输出看起来像铅笔草图。有两个输出，一个是将滤镜应用于彩色输入图像的结果，另一个是将其应用于输入图像的灰度版本的结果。坦率地说，我对这个过滤器印象不深，因为结果看起来不太棒。调用如下：

C++:

pencilSketch(Mat src, Mat dst_gray, Mat dst_color, float sigma_s=60, float sigma_r=0.07f, float shade_factor=0.02f)

Python:

dst_gray, dst_color = cv2.pencilSketch(src, sigma_s=60, sigma_r=0.07, shade_factor=0.05)

参数与边缘增强滤镜相同。shade_factor（范围0到0.1）是输出图像强度的简单缩放。值越高，结果越亮。

将pencilSketch滤镜应用于输入图像的结果如下所示。

1.4 风格化滤波器

风格化过滤器产生的输出看起来像使用水彩绘制的图像。调用函数如下：

C++:

stylization(Mat src, Mat dst, float sigma_s=60, float sigma_r=0.45f)

Python:

dst = cv2.stylization(src, sigma_s=60, sigma_r=0.07)

参数与边缘增强滤镜相同。应用于输入图像的结果如下所示。

2 代码

所有代码见：

C++:

#include "pch.h"
#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;

int main()

    // Read image 读取图像
    Mat im = imread("./image/cow.jpg");
    Mat imout, imout_gray;

    // Edge preserving filter with two different flags. 保边滤波器
    edgePreservingFilter(im, imout, RECURS_FILTER);
    imwrite("edge-preserving-recursive-filter.jpg", imout);

    edgePreservingFilter(im, imout, NORMCONV_FILTER);
    imwrite("edge-preserving-normalized-convolution-filter.jpg", imout);

    // Detail enhance filter 边缘增强滤波器
    detailEnhance(im, imout);
    imwrite("detail-enhance.jpg", imout);

    // Pencil sketch filter 素描滤波器
    pencilSketch(im, imout_gray, imout);
    imwrite("pencil-sketch.jpg", imout_gray);
    imwrite("pencil-sketch-color.jpg", imout_gray);

    // Stylization filter 风格化滤波器
    stylization(im, imout);
    imwrite("stylization.jpg", imout);

    return 0;

Python:

import cv2

# Read image
im = cv2.imread("./image/cow.jpg");

# Edge preserving filter with two different flags.
imout = cv2.edgePreservingFilter(im, flags=cv2.RECURS_FILTER);
cv2.imwrite("edge-preserving-recursive-filter.jpg", imout);

imout = cv2.edgePreservingFilter(im, flags=cv2.NORMCONV_FILTER);
cv2.imwrite("edge-preserving-normalized-convolution-filter.jpg", imout);

# Detail enhance filter
imout = cv2.detailEnhance(im);
cv2.imwrite("detail-enhance.jpg", imout);

# Pencil sketch filter
imout_gray, imout = cv2.pencilSketch(im, sigma_s=60, sigma_r=0.07, shade_factor=0.05);
cv2.imwrite("pencil-sketch.jpg", imout_gray);
cv2.imwrite("pencil-sketch-color.jpg", imout);

# Stylization filter
cv2.stylization(im,imout);
cv2.imwrite("stylization.jpg", imout);