OpenCV4中DIS光流算法与应用

Posted 2021-04-25 OpenCV学堂

OpenCV4中新光流算法 - DIS光流

OpenCV中KLT稀疏光流算法与FB稠密光流算法都是十年前的算法，没有反应出光流算法的最新进展，这个跟OpenCV其它模块相比，光流算法模块的更新明显滞后、OpenCV4发布终于把DIS光流算法包含到正式的发布版中。相对于FB光流基于多项式实现光流移动估算，DIS光流采用反向搜索与梯度下降寻求最优化来解决移动估算，不但降低了计算量、而且提升了精准度与实时性能。是一种可以实时运行的视频运动分析算法。

DIS光流算法

01

DIS(稠密逆搜索)光流算法主要有三个核心部分组成

• 对应关系的快速逆搜索

• 多尺度推理的快速光流

• 快速的变分求精

以前的FB光流基于多项式方式，是基于像素级别的光流估算、非常耗时、这里作者提出基于块级别的相关性反向搜索，实现一次计算梯度，多次反向搜索使用，不用每次重新初始化计算梯度，节省了大量计算，从而提高了性能。基于网格化实现反向搜索、稠化光流与优化。完整的流程如下：

运行效果

OpenCV中的代码演示

02

创建DIS光流实例与调用计算光流

C++版本

Ptr<DenseOpticalFlow> algorithm = DISOpticalFlow::create(DISOpticalFlow::PRESET_FAST);algorithm->calc(preGray, gray, flow);

Python版本

dis = cv.DISOpticalFlow_create(1)flow = dis.calc(prvs,next, None,)

这里创建DIS支持三种计算方式如下：

PRESET_ULTRAFAST = 0,PRESET_FAST = 1,PRESET_MEDIUM = 2

主要的区别选择不同的算法迭代优化测次数不一样、计算耗时也不一样。运行效果如下：

完整的python版本演示代码

import cv2 as cv
import numpy as np
cap = cv.VideoCapture("D:/images/video/vtest.avi")
# https://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
dis = cv.DISOpticalFlow_create()
while(1):
   ret, frame2 = cap.read()
   next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
   flow = dis.calc(prvs,next, None,)
   # flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
   mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
   hsv[...,0] = ang*180/np.pi/2
   hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
   bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
   cv.imshow('result',bgr)
   cv.imshow('input', frame2)
   k = cv.waitKey(30) & 0xff
   if k == 27:
       break
   elif k == ord('s'):
       cv.imwrite('opticalfb.png',frame2)
       cv.imwrite('opticalhsv.png',bgr)
   prvs = next
cap.release()
cv.destroyAllWindows()

说实话，明显比FB与KLT光流法都要速度快，效果也是很好，DIS光流必须有!

推荐阅读