Opencv项目实战目标追踪：实时追踪人工标注的多个目标

Posted 2023-03-05 胖墩会武术

文章目录

• 一、项目思路
• 二、问题清单
• 三、算法详解
• • 3.1、定义目标追踪算法
  • 3.2、初始化追踪器
  • 3.3、更新目标追踪器
  • 3.4、绘制目标矩形框
  • 3.5、人工标注感兴趣目标
  • • 3.5.1、标注ROI区域
    • 3.5.2、截取ROI区域
• 四、项目实战：单目标 - 实时追踪
• 五、项目实战：多目标 - 实时追踪

多目标 - 实时追踪

一、项目思路

单目标追踪：

1. 参数设置
2. 读取视频，读取帧图像
3. 设置视频保存参数
4. 手动选择追踪目标
5. 选择追踪算法
6. 实例化单目标追踪器
7. 循环读取帧图像
8. 矩形框标记目标
9. 实时更新动态框
10. 显示图像

多目标追踪：

1. 参数设置
2. 构建追踪算法列表
3. 实例化多目标追踪器
4. 读取视频
5. 循环读取帧图像
6. 对视频进行等比例缩放
7. 手动选择追踪目标
8. 矩形框标记目标
9. 实时更新动态框
10. 显示图像

二、问题清单

BUG1：module 'cv2' has no attribute 'legacy'

• 原因：opencv_python 和 opencv_contrib-python 的版本不一致问题
• 解决：安装与opencv_python相同版本的opencv_contrib-python。参考文献

BUG2：module 'cv2' has no attribute 'TrackerCSRT_create'

• 原因：新版本的opencv_contrib-python中，一些函数被取消。
• 解决：通过cv2.legacy来调用这些函数。如：将cv2.TrackerBoosting_create改为cv2.legacy.TrackerBoosting_create。参考文献

机器学习进阶-目标跟踪-KCF目标跟踪方法
计算机视觉项目-实时目标追踪

三、算法详解

OpenCV学习笔记15-目标跟踪算法介绍及实战

3.1、定义目标追踪算法

定义不同的目标追踪算法(不含深度学习)：

7+1种目标追踪算法	函数	说明
BOOSTING Tracker	cv2.legacy.TrackerBoosting_create	算法原理类似于Harr cascdes(AdaBoost)，是一种很老的算法。速度慢并且不准。（最低支持OpenCV 3.0.0）
MIL Tracker	cv2.legacy.TrackerMIL_create	比BOOSTING更精确，但是失败率比较高。（最低支持OpenCV 3.0.0）
KCF Tracker	cv2.legacy.TrackerKCF_create	速度比BOOSTING和MIL更快，与BOOSTING和MIL一样不能很好的处理遮挡问题。
CSRT Tracker	cv2.legacy.TrackerCSRT_create	比KCF更准一些，但是速度比KCF慢。（最低支持OpenCV 3.4.2）
TLD Tracker	cv2.legacy.TrackerTLD_create	在多帧遮挡下效果最好。但是TLD的误报非常多。（最低支持OpenCV 3.0.0）
MedianFlow	cv2.legacy.TrackerMedianFlow_create	出色的跟踪故障报告。当运动是可预测的并且没有遮挡时，效果非常好，但是对于快速跳动或快速移动的物体，模型会失效。（最低支持OpenCV 3.0.0）
MOSSE Tracker	cv2.legacy.TrackerMOSSE_create	速度真心快，但是不如CSRT和KCF的准确率那么高，如果追求速度选它准没错。（最低支持OpenCV 3.4.1）
GOTURN Tracker	这是OpenCV中唯一一深度学习为基础的目标检测器。它需要额外的模型才能运行。（最低支持OpenCV 3.2.0）

3.2、初始化追踪器

trackers = cv2.legacy.MultiTracker_create()		# 使用多目标追踪器
tracker = cv2.legacy.TrackerCSRT_create()		# 使用csrt追踪算法

3.3、更新目标追踪器

函数说明：success, boxes = trackers.update(frame)
输入参数：		frame：		传入的图像
输出参数：		success：	是否追踪成功
				boxes：		追踪到的目标框

3.4、绘制目标矩形框

(x, y, w, h) = [int(ii) for ii in boxes]						# 获取目标位置
cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)		# 矩形框标出动态目标		
cv2.imshow('frame', frame)										# 实时显示追求目标

3.5、人工标注感兴趣目标

函数说明：[min_x, min_y, w, h] = cv2.selectROI(windowName, img, showCrosshair, fromCenter)
输入参数：
				windowName：		选择的区域被显示在的窗口的名字
				img：				要在什么图片上选择ROI
				showCrosshair：		是否在矩形框里画十字线，默认为True。
				fromCenter：		是否是从矩形框的中心开始画，默认为False。
输出参数：
				min_x				为矩形框中最小的x值，左上角
				min_y				为矩形框中最小的y值，左上角
				w					为这个矩形框的宽
				h					为这个矩形框的高
# 备注：选好区域后，按空格或者Enter完成选择；换区域的时候直接通过鼠标重新选择即可

3.5.1、标注ROI区域

import cv2
image = cv2.imread('blank_write.jpg')
im = cv2.selectROI(windowName='img', img=image, showCrosshair=False, fromCenter=False)
print(im)
cv2.waitKey(1)

3.5.2、截取ROI区域

import cv2
image=cv2.imread('blank_write.jpg')
im = cv2.selectROI(windowName='img', img=image, showCrosshair=True, fromCenter=False)
print(im)
img_roi = image[int(im[1]):int(im[1]+im[3]), int(im[0]):int(im[0]+im[2])] 
cv2.imshow("imageHSV",img_roi)
cv2.waitKey(0)

四、项目实战：单目标 - 实时追踪

import cv2

# 设置参数
video_load_path = r'C:\\Users\\my\\Videos\\football.mp4'  	# 视频存放地址
video_save_path = r'C:\\Users\\my\\Videos\\football2.mov'  	# 视频存放地址

if __name__ == '__main__':
	cap = cv2.VideoCapture(video_load_path)			# 读取视频流
	ret, frame = cap.read()							# 读取帧图像
	
	
	frame_width = int(cap.get(3))					# 获取图像宽,并转换为整数	
	frame_height = int(cap.get(4))					# 获取图像高,并转换为整数	
	# 创建保存视频的对象（设置编码格式，帧率，图像的宽高等）
	out = cv2.VideoWriter(video_save_path, cv2.VideoWriter_fourcc('D', 'I', 'V', 'X'), 10, (frame_width, frame_height))
	
	bbox = cv2.selectROI('frame', frame, fromCenter=False, showCrosshair=True)		
	# 人工标注感兴趣目标
	tracker = cv2.legacy.TrackerCSRT_create()		# 使用csrt算法
	tracker.init(frame, bbox)						# 初始化tracker
	
	while True:
	    _, frame = cap.read()						# 读取帧图像
		if frame is None:							# 如果读到的帧数不为空，则继续读取；如果为空，则退出。
			break
			
	    bool_para, box = tracker.update(frame)		# 由于物体运动，需要动态的根据物体运动更新矩形框
	    if bool_para:								# 若读取成功，我们就定位画框，并跟随
	        (x, y, w, h) = [int(ii) for ii in box]
	        cv2.rectangle(frame, pt1=(int(x),int(y)), pt2=(int(x)+int(w), int(y)+int(h)), color=(0, 255, 0), thickness=2)
	    	cv2.imshow('frame', frame)				# 实时显示追求目标
			out.write(frame)            			# 将每一帧图像写入到输出文件中
	 
		# 使用 waitKey 可以控制视频的播放速度。数值越小，播放速度越快。
		if cv2.waitKey(1) == ord(' '):	# ord(' '): 按空格结束
			break
	 
	cap.release()				# 释放摄像头
	out.release()				# 释放摄像头
	cv2.destroyAllWindows()		# 摧毁所有图窗
	

五、项目实战：多目标 - 实时追踪

import argparse
import cv2

# （1）参数设置（视频存放地址 + 指定追踪器类型）
ap = argparse.ArgumentParser()
ap.add_argument('-v', '--video', type=str, default='01.mp4', help='path to input video file')
ap.add_argument('-t', '--tracker', type=str, default='kcf', help='Opencv object tracker type')
args = vars(ap.parse_args())

# （2）构造Opencv的追踪算法列表
OPENCV_OBJECT_TRACKERS = 
    "csrt": cv2.legacy.TrackerCSRT_create,
    "kcf": cv2.legacy.TrackerKCF_create,
    "boosting": cv2.legacy.TrackerBoosting_create,
    "mil": cv2.legacy.TrackerMIL_create,
    "tld": cv2.legacy.TrackerTLD_create,
    "medianflow": cv2.legacy.TrackerMedianFlow_create,
    "mosse": cv2.legacy.TrackerMOSSE_create


# （3）实例化多目标追踪器
trackers = cv2.legacy.MultiTracker_create()

# （4）读取视频
vs = cv2.VideoCapture(args['video'])

while True:
    # （5）读取帧图像
    frame = vs.read()		# frame=[bool, data]
    frame = frame[1]		# 获取帧图像
    # 若视频播放结束，则跳出
    if frame is None:
        break

    # （6）使用cv2.resize对图像进行长宽的放缩操作
    h, w = frame.shape[:2]			# 获取帧图像的高宽
    width = 300						# 视频缩放到指定大小
    r = width / float(w)			# 缩放比例
    dim = (width, int(r * h))		# 缩放后的尺寸
    frame = cv2.resize(frame, dim, cv2.INTER_AREA)

    # （7）由于物体运动，需要根据物体的动态运动更新矩形框
    (success, boxes) = trackers.update(frame)

    # （8）循环多组矩形框，进行画图操作
    for box in boxes:
        (x, y, w, h) = [int(v) for v in box]							# 获取动态目标的位置
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)		# 矩形框标出动态目标

    # （9）显示图像
    cv2.imshow('Frame', frame)

    # （10）英文输入下：先按s暂停视频，然后手动选择一个区域，最后按空格键开始播放（可多次重复操作，添加多个追踪目标）
    key = cv2.waitKey(100) & 0xff
    if key == ord('s'):
        box = cv2.selectROI('Frame', frame, fromCenter=False, showCrosshair=True)
        tracker = OPENCV_OBJECT_TRACKERS[args['tracker']]()		# 创建追踪器
        trackers.add(tracker, frame, box)						# 添加追踪器
    elif key == 27:
        break

vs.release()
cv2.destroyAllWindows()