使用Python,OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象

Posted 程序媛一枚~

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Python,OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象相关的知识,希望对你有一定的参考价值。

使用Python,OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象

这篇博客将介绍如何使用 Meanshift 和 Camshift 算法来查找和跟踪视频中的对象。

MeanShift:均移
Camshift(Continuously Adaptive Meanshift)持续自适应性均移

  • cv2.meanShift(): Meanshift 均移总是能找到一个具有最大像素分布的窗口,并且追踪对象;

  • cv2.CamShift(): CAMshift 是 Meanshift的优化,它会持续性的自动调整窗口的大小,并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换,直到达到所需的精度;

1. 效果图

官方示例——Meanshift 均移效果图如下:

官方示例——CAMshift持续自适应均移效果图如下:

可以看到Camshift会自动调整框的大小及旋转,能更好的拟合追踪的对象;

2. 源码

2.1 MeanShift

# 使用MeanShift均移和 CAMshift(Continuously Adaptive Meanshift)持续自适应均移以寻找和追踪对象

# CAMshift 是 MeanShift的优化,它会持续性的自动调整窗口的大小,并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换,直到达到所需的精度;
import numpy as np
import cv2

cap = cv2.VideoCapture('images/slow_traffic_small.mp4')

# 获取视频的第一帧
ret, frame = cap.read()

# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50  # 硬编码位置
track_window = (x, y, w, h)

# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]

# 只考虑HSV的色调
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# 为了避免由于低光导致的错误值,使用 cv2.inRange() 函数丢弃低光值。
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 设置终止标准,10 次迭代或移动至少 1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while (1):
    ret, frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

        # 应用meanshift获取新位置
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)

        # 在图像上绘制它
        x, y, w, h = track_window
        img2 = cv2.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv2.imshow('img2', img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k) + ".jpg", img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

2.2 Camshift(Continuously Adaptive Meanshift)持续自适应性均移

# 使用MeanShift均移和 CAMshift(Continuously Adaptive Meanshift)持续自适应均移以寻找和追踪对象
# CAMshift 是 MeanShift的优化,它会持续性的自动调整窗口的大小,并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换,直到达到所需的精度;

import numpy as np
import cv2

cap = cv2.VideoCapture('images/slow_traffic_small.mp4')

# 获取视频的第一帧
ret, frame = cap.read()

# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50  # 硬编码位置
track_window = (x, y, w, h)

# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]

hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 设置终止条件,迭代10次或者至少移动1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while (1):
    ret, frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

        # 应用camshift获取新位置
        # 返回一个旋转的矩形和框参数(用于在下一次迭代中作为搜索窗口传递)
        # 它首先应用均值变换。一旦meanshift收敛,它会更新窗口的大小,并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换。该过程一直持续到满足所需的精度。
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)

        # 绘制在图像上
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame, [pts], True, 255, 2)
        cv2.imshow('img2', img2)
        # cv2.waitKey(0)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k) + ".jpg", img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

3. 参考

以上是关于使用Python,OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象的主要内容,如果未能解决你的问题,请参考以下文章

[OpenCV-Python] OpenCV 中视频分析 部分 VI

Opencv中的MeanShift图像分割和视频背景分离(python实现)

OpenCV,C++:如何使用 cv::Meanshift

基于mean shift算法的物体跟踪(python+opencv代码)

OpenCV中MeanShift算法视频移动对象分析

OpenCV—用meanshift和Camshift进行目标追踪