超详细OpenCV之python操作

Posted 2023-03-29 kuokay

简介

OpenCV是一款由Intel公司俄罗斯团队发起并参与和维护的一个计算机视觉处理开源软件库，支持与计算机视觉和机器学习相关的众多算法，并且正在日益扩展。

OpenCV-Python

OpenCV-Python是一个Python绑定库，旨在解决计算机视觉问题。

Python是一种由Guido van Rossum开发的通用编程语言，它很快就变得非常流行，主要是因为它的简单性和代码可读性。它使程序员能够用更少的代码行表达思想，而不会降低可读性。

与C / C++等语言相比，Python速度较慢。也就是说，Python可以使用C / C++轻松扩展，这使我们可以在C / C++中编写计算密集型代码，并创建可用作Python模块的Python包装器。这给我们带来了两个好处：首先，代码与原始C / C++代码一样快（因为它是在后台工作的实际C++代码），其次，在Python中编写代码比使用C / C++更容易。OpenCV-Python是原始OpenCV C++实现的Python包装器。

OpenCV-Python使用Numpy，这是一个高度优化的数据库操作库，具有MATLAB风格的语法。所有OpenCV数组结构都转换为Numpy数组。这也使得与使用Numpy的其他库（如SciPy和Matplotlib）集成更容易。

快速上手

安装：

安装OpenCV之前需要先安装numpy, matplotlib。

先安装OpenCV-Python, 由于一些经典的算法被申请了版权，新版本有很大的限制，所以选用3.4.3以下的版本

pip install opencv-python==3.4.2.17

测试：

运行以下代码无误表示安装成功

import cv2
# 读一个图片并进行显示(图片路径需自己指定)
lena=cv2.imread("1.jpg")
cv2.imshow("image",lena)
cv2.waitKey(0)

如果我们要利用SIFT和SURF等进行特征提取时，还需要安装：

pip install opencv-contrib-python==3.4.2.17

OpenCV的模块

其中core、highgui、imgproc是最基础的模块，该课程主要是围绕这几个模块展开的，分别介绍如下：

• core模块实现了最核心的数据结构及其基本运算，如绘图函数、数组操作相关函数等。
• highgui模块实现了视频与图像的读取、显示、存储等接口。
• imgproc模块实现了图像处理的基础方法，包括图像滤波、图像的几何变换、平滑、阈值分割、形态学处理、边缘检测、目标检测、运动分析和对象跟踪等。

对于图像处理其他更高层次的方向及应用，OpenCV也有相关的模块实现

• features2d模块用于提取图像特征以及特征匹配，nonfree模块实现了一些专利算法，如sift特征。
• objdetect模块实现了一些目标检测的功能，经典的基于Haar、LBP特征的人脸检测，基于HOG的行人、汽车等目标检测，分类器使用Cascade Classification（级联分类）和Latent SVM等。
• stitching模块实现了图像拼接功能。
• FLANN模块（Fast Library for Approximate Nearest Neighbors），包含快速近似最近邻搜索FLANN 和聚类Clustering算法。
• ml模块机器学习模块（SVM，决策树，Boosting等等）。
• photo模块包含图像修复和图像去噪两部分。
• video模块针对视频处理，如背景分离，前景检测、对象跟踪等。
• calib3d模块即Calibration（校准）3D，这个模块主要是相机校准和三维重建相关的内容。包含了基本的多视角几何算法，单个立体摄像头标定，物体姿态估计，立体相似性算法，3D信息的重建等等。
• G-API模块包含超高效的图像处理pipeline引擎。

图像的IO操作

读取图像

cv.imread()

参数：

• 要读取的图像

• 读取方式的标志

  • cv.IMREAD*COLOR：以彩色模式加载图像，任何图像的透明度都将被忽略。这是默认参数。

  • cv.IMREAD*GRAYSCALE：以灰度模式加载图像

  • cv.IMREAD_UNCHANGED：包括alpha通道的加载图像模式。

可以使用1、0或者-1来替代上面三个标志

import numpy as np
import cv2 as cv
# 以灰度图的形式读取图像
img = cv.imread('messi5.jpg',0)

显示图像

cv.imshow()

参数：

• 显示图像的窗口名称，以字符串类型表示
• 要加载的图像

注意：在调用显示图像的API后，要调用cv.waitKey()给图像绘制留下时间，否则窗口会出现无响应情况，并且图像无法显示出来。

另外我们也可使用matplotlib对图像进行展示。

# opencv中显示
cv.imshow('image',img)
cv.waitKey(0)
# matplotlib中展示
plt.imshow(img[:,:,::-1])

保存图像

cv.imwrite()

参数：

• 文件名，要保存在哪里
• 要保存的图像

cv.imwrite('messigray.png',img)

案例：

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread('messi5.jpg',0)
# 2 显示图像
# 2.1 利用opencv展示图像
cv.imshow('image',img)
# 2.2 在matplotplotlib中展示图像
plt.imshow(img[:,:,::-1])
plt.title('匹配结果'), plt.xticks([]), plt.yticks([])
plt.show()
k = cv.waitKey(0)
# 3 保存图像
cv.imwrite('messigray.png',img)

绘制几何图形

绘制直线

cv.line(img,start,end,color,thickness)

参数：

• img:要绘制直线的图像
• Start,end: 直线的起点和终点
• color: 线条的颜色
• Thickness: 线条宽度

绘制圆形

cv.circle(img,centerpoint, r, color, thickness)

参数：

• img:要绘制圆形的图像
• Centerpoint, r: 圆心和半径
• color: 线条的颜色
• Thickness: 线条宽度，为-1时生成闭合图案并填充颜色

绘制矩形

cv.rectangle(img,leftupper,rightdown,color,thickness)

参数：

• img:要绘制矩形的图像
• Leftupper, rightdown: 矩形的左上角和右下角坐标
• color: 线条的颜色
• Thickness: 线条宽度

向图像中添加文字

cv.putText(img,text,station, font, fontsize,color,thickness,cv.LINE_AA)

参数：

• img: 图像
• text：要写入的文本数据
• station：文本的放置位置
• font：字体
• Fontsize :字体大小

案例：

我们生成一个全黑的图像，然后在里面绘制图像并添加文字

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 创建一个空白的图像
img = np.zeros((512,512,3), np.uint8)
# 2 绘制图形
cv.line(img,(0,0),(511,511),(255,0,0),5)
cv.rectangle(img,(384,0),(510,128),(0,255,0),3)
cv.circle(img,(447,63), 63, (0,0,255), -1)
font = cv.FONT_HERSHEY_SIMPLEX
cv.putText(img,'OpenCV',(10,500), font, 4,(255,255,255),2,cv.LINE_AA)
# 3 图像展示
plt.imshow(img[:,:,::-1])
plt.title('匹配结果'), plt.xticks([]), plt.yticks([])
plt.show()

获取并修改图像中的像素点

我们可以通过行和列的坐标值获取该像素点的像素值。对于BGR图像，它返回一个蓝，绿，红值的数组。对于灰度图像，仅返回相应的强度值。使用相同的方法对像素值进行修改。

import numpy as np
import cv2 as cv
img = cv.imread('messi5.jpg')
# 获取某个像素点的值
px = img[100,100]
# 仅获取蓝色通道的强度值
blue = img[100,100,0]
# 修改某个位置的像素值
img[100,100] = [255,255,255]

获取图像的属性

图像属性包括行数，列数和通道数，图像数据类型，像素数等。

图像通道的拆分与合并

有时需要在B，G，R通道图像上单独工作。在这种情况下，需要将BGR图像分割为单个通道。或者在其他情况下，可能需要将这些单独的通道合并到BGR图像。你可以通过以下方式完成。

# 通道拆分
b,g,r = cv.split(img)
# 通道合并
img = cv.merge((b,g,r))

色彩空间的改变

OpenCV中有150多种颜色空间转换方法。最广泛使用的转换方法有两种，BGR↔Gray和BGR↔HSV。

cv.cvtColor(input_image，flag)

参数：

• input_image: 进行颜色空间转换的图像
• flag: 转换类型
  • cv.COLOR_BGR2GRAY : BGR↔Gray
  • cv.COLOR_BGR2HSV: BGR→HSV

图像的加法

你可以使用OpenCV的cv.add()函数把两幅图像相加，或者可以简单地通过numpy操作添加两个图像，如res = img1 + img2。两个图像应该具有相同的大小和类型，或者第二个图像可以是标量值。

注意：OpenCV加法和Numpy加法之间存在差异。OpenCV的加法是饱和操作，而Numpy添加是模运算。

>>> x = np.uint8([250])
>>> y = np.uint8([10])
>>> print( cv.add(x,y) ) # 250+10 = 260 => 255
[[255]]
>>> print( x+y )          # 250+10 = 260 % 256 = 4
[4]

这种差别在你对两幅图像进行加法时会更加明显。OpenCV 的结果会更好一点。所以我们尽量使用 OpenCV 中的函数。

我们将下面两幅图像：

代码：

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt

# 1 读取图像
img1 = cv.imread("view.jpg")
img2 = cv.imread("rain.jpg")

# 2 加法操作
img3 = cv.add(img1,img2) # cv中的加法
img4 = img1+img2 # 直接相加

# 3 图像显示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img3[:,:,::-1])
axes[0].set_title("cv中的加法")
axes[1].imshow(img4[:,:,::-1])
axes[1].set_title("直接相加")
plt.show()

结果如下所示：

图像的混合

这其实也是加法，但是不同的是两幅图像的权重不同，这就会给人一种混合或者透明的感觉。图像混合的计算公式如下：

g(x) = (1−α)f0(x) + αf1(x)

通过修改 α 的值（0 → 1），可以实现非常炫酷的混合。

现在我们把两幅图混合在一起。第一幅图的权重是0.7，第二幅图的权重是0.3。函数cv2.addWeighted()可以按下面的公式对图片进行混合操作。

dst = α⋅img1 + β⋅img2 + γ

这里γ取为零。

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt

# 1 读取图像
img1 = cv.imread("view.jpg")
img2 = cv.imread("rain.jpg")

# 2 图像混合
img3 = cv.addWeighted(img1,0.7,img2,0.3,0)

# 3 图像显示
plt.figure(figsize=(8,8))
plt.imshow(img3[:,:,::-1])
plt.show()

OpenCv阈值操作（超详细）

一、阈值化操作

1、阈值滑动条：

createTrackbar使用方法及步骤

第一个参数：conststring& trackbarname，表示轨迹条的名字
第二个参数：conststring& winname，表示轨迹条依托窗口的名称
Threshold_Demo：是回调函数，实时返回。

2、阈值函数：

threshold(gray_dst, dst2, threshold_value, threshold_max, THRESH_BINARY);
gray_dst:原图像
threshold_value:阈值
threshold_max:最大值，一般为255
type:
cv2.THRESH_BINARY：二值化，超过阈值的像素设置为max，不超过的设置为0
cv2.THRESH_BINARY_INV：反二值化，不超过阈值的设置为max，超过的设置为0
cv2.THRESH_TRUNC：截断，超过阈值的设置为threshold
cv2.THRESH_TOZERO：低于阈值的设置为0
cv2.THRESH_TOZERO_INV：低于阈值的设置为max

#include<opencv2/opencv.hpp>
#include<iostream>
#include<math.h>
using namespace std;
using namespace cv;

Mat src, dst, dst2, gray_dst;
int threshold_value = 127;
int threshold_max = 255;
const char* output = "binary image";
void Threshold_Demo(int, void*);
int main()
{
	src = imread("D:/PT/circle_stone.jpg");
	if (!src.data) {
		printf("could not load the image...\\n");
		return  -1;
	}
	double scale = 0.5;
	Size dsize = Size(src.cols * scale, src.rows * scale);
	resize(src, dst, dsize);

	//为图像创建边框
	//copyMakeBorder(dst, dst2, 20, 20, 20, 20, cv::BORDER_CONSTANT, Scalar(116, 73, 16));
	//阈值化操作
	namedWindow("input", CV_WINDOW_AUTOSIZE);
	namedWindow(output, CV_WINDOW_AUTOSIZE);
	imshow("input", dst);
	createTrackbar("阈值滑条:", output, &threshold_value, threshold_max, Threshold_Demo);
	//imwrite("D:/PT/shan/shan12345.jpg",dst2);
	Threshold_Demo(0, 0);
	waitKey(0);
	return 0;
}
void Threshold_Demo(int, void*) {
	cvtColor(dst, gray_dst, CV_BGR2GRAY);
	threshold(gray_dst, dst2, threshold_value, threshold_max, THRESH_BINARY);
	imshow(output, dst2);

}

注：这里可以暂停思考一下，为什么阈值拉低，黑色逐渐减少，白色逐渐增多。
cv2.THRESH_BINARY_INV：反二值化：

3、OTSU算法（大津法）

什么是大津法？
大津法是一种图像灰度自适应的阈值分割算法，又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。

它被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。

应用：是求图像全局阈值的最佳方法，应用不言而喻，适用于大部分需要求图像全局阈值的场合。

优点：计算简单快速，不受图像亮度和对比度的影响。

缺点：对图像噪声敏感；只能针对单一目标分割；当目标和背景大小比例悬殊、类间方差函数可能呈现双峰或者多峰，这个时候效果不好。

代码链接：C++实现Otsu(大津法）
OpenCV学堂公众号链接：二值化算法OTSU源码解析

4、自适应阈值二值化

为什么要提出自适应呢？
对于色彩均匀的图像，一个阈值就可以完成，但是色彩不均匀，图像光照变暗了，单阈值的二值化效果就会大大折扣。

自适应阈值可以使用变换的阈值，通过计算每个像素点临近区域的甲醛平均值获得阈值，然后处理。这个方法可以更好地处理明暗差异较低的图像。

OpenCV提供的API：

void adaptiveThreshold(InputArray src, OutputArray dst, double maxValue,
                      int adaptiveMethod, int thresholdType, int blockSize, double C)

src：源图像，8位单通道图像。

adaptiveMethod：在一个邻域内计算阈值所采用的算法，分别为：

ADAPTIVE_THRESH_MEAN_C （邻域所有像素点的权重值是一致的）－double C
ADAPTIVE_THRESH_GAUSSIAN_C (与邻域各个像素点到中心的距离有关，通过高斯方程得到各个点的权重值)-double c

thresholdType：

THRESH_BINARY
THRESH_BINARY_INV

blockSize：adaptiveThreshold的计算单位是像素的邻域块，这是局部邻域大小，3、5、7…

double C：偏移值调整量.