OpenCV-Python+Moviepy 结合进行视频特效处理

Posted 2021-12-07 LaoYuanPython

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了OpenCV-Python+Moviepy 结合进行视频特效处理相关的知识，希望对你有一定的参考价值。

一、引言

最近事情多，好久没更新了，将以前有2篇使用OpenCV-Python+Moviepy 结合进行视频特效处理的文章整合一下发出来更新一下。

Moviepy 是一个 Python 的音视频剪辑库，OpenCV 是一个图形处理库，我们知道视频的一帧就是一幅图像，因此在处理视频时可以结合 OpenCV 进行帧处理，将二者结合可以用来进行一些不错的视频特效的处理。老猿在此介绍两个这方面的应用案例供大家参考。

二、给视频添加雪花飘落特效

2.1、实现原理

雪花特效可以给视频增加特殊的效果，要给视频加雪花特效，是基于以下原理来实现的：

每个视频都是由一个个视频帧构成，每个视频帧都是一副静态的图像，通过视频帧的连续显示形成动态视频；
实现视频雪花飘落，就是在视频的每帧图像中添加雪花，并在前后相连的视频帧中变化雪花的位置，形成雪花下飘带横向移动的效果；
雪花的图片本身是一个矩形，矩形内有黑色背景和白色的雪花，在将雪花图片添加到视频帧时，需要确保黑色部分不会遮盖帧图像的内容，只有白色的雪花前景色才可以遮挡帧图像内容。这就需要通过图像的阈值处理确得到雪花图像的二值图，用该二值图及其补图作为掩膜，二值图作为雪花原始图片与自身与运算的掩码来获取雪花图片的前景色，补图作为帧图片雪花对应位置的子图与子图自身与运算的掩膜来获取雪花黑色背景部分对应的帧图像作为背景色；
对视频帧调用雪花融合图像的函数进行动态融合雪花的处理;
Moviepy 的 fl_image 是视频剪辑基类 VideoClip 的方法，该方法用于对视频的帧图像进行变换，其参数包括一个对帧图像进行变换的函数image_func，具体变换由应用实现对图像进行变换处理的一个函数，然后将该函数作为 image_func 的值参传入fl_image，Moviepy 就会调用该函数完成对视频每帧图像的处理生成新的剪辑

2.2、具体实现

2.2.1、雪花图片

本次实现的案例对应的雪花图片为：

文件名为：f:\\pic\\snow.jpg。上述图片的雪花是标准的雪花图像，但图像比较大，在视频中直接展示这么大的雪花就很假，老猿经过测试，发现将其缩小到原图像的五分之一以内比较象真正的雪花。

2.2.2、实现流程

2.2.3、关键实现

2.2.3.1、初始化雪花

图片的雪花是固定大小的，而真正的雪花大小是不同的，为了模拟真正的雪花效果，需要有各种不同大小和角度的雪花，为此每片雪花需要根据图片雪花图像进行随机的大小和角度调整。

一帧图像中的雪花数量至少是几十到几百片，如果每次融合图像时，都需要从图片雪花图像进行大小和旋转角度的变换，是非常消耗系统的性能的，影响视频的生成耗时。

为了提升处理性能，老猿只在程序开始初始化时一次批量生产各种不同大小、不同旋转角度的各种雪花，后续程序生成雪花时，直接从批量生成的雪花中取一个作为要生成的雪花，而不用每次从基本的雪花图像开始进行变换。

生成各种雪花形状的示例代码：

# -*- coding: utf-8 -*-
import cv2,random
import numpy as np

from opencvPublic import addImgToLargeImg,readImgFile,rotationImg
snowShapesList = [] #雪花形状列表
snowObjects=[]  #图片中要显示的所有雪花对象

def initSnowShapes():
    """
    从文件中读入雪花图片，并进行不同尺度的缩小和不同角度的旋转从而生成不同的雪花形状，这些雪花形状保存到全局列表中snowShapesList
    """
    global snowShapesList
    imgSnow = readImgFile(r'f:\\pic\\snow.jpg')
    imgSnow = cv2.resize(imgSnow, None, fx=0.3, fy=0.3) #图片文件中的雪花比较大，需要缩小才能象自然的雪花形象
    minFactor,maxFactor = 50,100  #雪花大小在imgSnow的0.5-1倍之间变化

    for factor in range(minFactor,maxFactor,5): #每次增加5%大小
        f = factor*0.01
        imgSnowSize = cv2.resize(imgSnow, None, fx=f, fy=f)
        for ange in range(0,360,5):#雪花0-360之间旋转,每次旋转角度增加5°
            imgRotate = rotationImg(imgSnowSize,ange)
            snowShapesList.append(imgRotate)

2.2.3.2、产生一排雪花

每帧图像除了保留上帧图像中未飘落出图像范围的雪花外，同时还会从顶部生成一排数量随机的雪花，形成生生不息的雪花。下面是从顶部初始化生成一排雪花的代码：

def generateOneRowSnows(width,count):
    """
    产生一排雪花对象，每个雪花随机从snowShapesList取一个、横坐标位置随机、纵坐标初始为0
    :param width: 背景图像宽度
    :param count: 希望的雪花数
    :y:当前行对应的竖直坐标
    :return:一个包含产生的多个雪花对象信息的列表，每个列表的元素代表一个雪花对象，雪花对象包含三个信息，在snowShapesList的索引号、初始x坐标、初始y坐标（才生成固定为0）
    """
    global snowShapesList
    line = []
    picCount = len(snowShapesList)
    for loop in range(count):
        imgId = random.randint(0,picCount-1)
        xPos = random.randint(0,width-1)
        line.append((imgId,xPos,0))
    return line

2.2.3.3、将所有雪花对象融合到背景图像

上帧图像中的雪花在当前帧中需要随机下落一定位置，并在一定幅度内横向漂移，当有雪花落到图像底部之下时，需要释放对应对象以节省资源。

def addSnowEffectToImg(img):
    """
    将所有snowObjects中的雪花对象融合放到图像img中，融合时y坐标随机下移一定高度，x坐标左右随机小范围内移动
    """
    global snowShapesList,snowObjects
    horizontalMaxDistance,verticalMaxDistance = 5,10 #水平方向左右漂移最大值和竖直方向下落最大值
    rows,cols = img.shape[:2]
    maxObjsPerRow = int(cols/100)
    snowObjects += generateOneRowSnows(cols, random.randint(0, maxObjsPerRow))
    snowObjectCount = len(snowObjects)
    rows,cols = img.shape[0:2]
    imgResult = np.array(img)
    for index in range(snowObjectCount-1,-1,-1):
        imgObj = snowObjects[index] #每个元素为(imgId,x,y)
        if imgObj[2]>rows: #如果雪花的起始纵坐标已经超出背景图像的高度（即到达背景图像底部），则该雪花对象需进行失效处理
            del(snowObjects[index])
        else:
            imgSnow = snowShapesList[imgObj[0]]
            x,y = imgObj[1:] #取该雪花上次的位置
            x = x+random.randint(-1*horizontalMaxDistance,horizontalMaxDistance) #横坐标随机左右移动一定范围
            y = y+random.randint(1,verticalMaxDistance) #纵坐标随机下落一定范围
            snowObjects[index] = (imgObj[0],x,y) #更新雪花对象信息
            imgResult = addImgToLargeImg(imgSnow,imgResult,(x,y),180) #将所有雪花对象图像按照其位置融合到背景图像中
    return imgResult #返回融合图像

2.2.3.4、实现视频雪花飘落特效视频合成

下面的代码调用 addSnowEffectToImg 实现对《粉丝记事本》视频的雪花飘落特效：

from  moviepy.editor import *

def addVideoSnowEffect(videoFileName,resultFileName):
    clip = VideoFileClip(videoFileName)
    newclip = clip.fl_image(addSnowEffectToImg, apply_to=['mask'])
    newclip.write_videofile(resultFileName)

if __name__ == '__main__':
    addVideoSnowEffect(r'f:\\video\\fansNote.mp4',r'f:\\video\\fansNote_snow.mp4')

2.2.4、雪花飘落效果

三、制作灯光秀短视频

3.1、视频内容设计

基于多张静态景物叠加特效声光特效可以将静态图片变成有趣的灯光秀视频，老猿为了武汉这个英雄之城解封一周年用 Python 制作了个解封庆祝的灯光秀短视频。

老猿是个没有艺术细胞的人，因此这个视频内容只能说仅能代表是个视频而已，对最终的内容表现大家就不需要过多评价。

在创作该视频前，老猿对视频进行了简单规划，将创作视频分为片头、视频内容和片尾三部分：

片头：5 秒时间，展现一幅黄鹤楼的照片，并带上“武汉重启一周年灯光秀”的标题
视频内容：全长 35 秒，每隔 2 秒随机展现一张武汉灯光秀景观图，并在视频中附上向上滚动的文字“热烈庆祝武汉重启一周年！”、“武汉万岁！中国万岁！”，并在视频的左下角和右下角用红绿蓝三色画三条向上晃动的线条表示彩色激光
片尾：25 秒，每隔 2 秒随机展现武汉的一张风景照，并展现“制片：老猿 Python”等制作信息。

3.2、开发设计

3.2.1、视频图片处理

视频中用到的图片都来源于互联网，为了减少图片加载的时间和统一初始化，在程序中通过全局变量将片头使用图像、视频内容使用图像、片尾使用图像分别使用了三个全局变量进行保存，其中后两者为列表类型。为了确保视频输出，所有图片都调整到了统一大小。

3.2.2、灯光效果处理

在视频内容部分，左下角和右下角发射的彩色激光，采用在背景图片中根据时间动态绘制彩色线条，实现彩色激光晃动照射的效果，为了限制晃动范围，设定了激光终点的 x 值的最小值和最大值。激光终点的位置根据时间动态计算，并在到达 x 值的最小值或最大值时自动回扫。

3.2.3、帧图像的生成

上面介绍的图像处理，全部集中在一个函数中处理，该函数仅带一个参数时间 t，判断时间来决定现在生成的内容是片头、内容还是片尾，然后据此来进行帧图像的生成。生成时，需要判断图像是否切换，因此需要记录上一次切换的时间和切换后的图像，确保未达到切换时间前用上次图像作为帧图像的背景，达到切换时间要求后切换新的图像作为后续帧图像生成的背景。为此在该函数中使用了两个全局变量来记录当前帧图像背景图片和上次切换时间。

3.2.4、输出到视频

为了将视频输出到文件，通过 VideoWriter_fourcc 指定视频输出文件类型，采用 OpenCV 的 VideoWriter 类来进行视频输出，通过 Open 方法指定输出文件，通过 write 方法将一帧帧视频写入。

3.3、具体实现

3.3.1、总流程

加载片头、视频内容、片尾需要使用的图像；
创建新视频文件
按照帧率 24、时长 65 秒，构建 24*65 张帧图像，并逐一输出到视频文件。

3.3.2、全局变量初始化

全局变量主要是视频中需要使用的图片，分成片头使用图片 hhlImg、灯光秀图片列表 lightShowImgList 和片尾风景图片列表 whImgList 。另外 preImg,preTime 用于记录上次切换视频图片的图片和切换时间。

hhlImg = cv2.resize(readImgFile(r'f:\\pic\\武汉\\黄鹤楼.jpg'),(800,600))
lightShowImgList = [cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_桥.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_武汉江边.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_一桥.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_一桥底部.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_一桥远景.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\灯光秀_远桥.jpg'),(800,600))]
whImgList =  [cv2.resize(readImgFile(r'f:\\pic\\武汉\\东湖1.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\东湖2.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\东湖樱园樱花.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大牌楼.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大牌楼远观.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大樱花2.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大樱园顶高拍照.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大樱园门洞.jpg'),(800,600)),
                    cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大樱园入口.jpg'),(800,600)),cv2.resize(readImgFile(r'f:\\pic\\武汉\\武大老图书馆.jpg'),(800,600))]

preImg,preTime = None,0

3.3.3、实现给背景图像添加彩色激光照射效果

lightShowImg 函数实现给背景图像指定点发射彩色激光的特效，激光发射点固定，由参数 lightStartPos 指定，终点随参数 t 在一定范围内变化，终点 x 坐标受参数 minX, maxX 控制，同一个发射源的三激光之间的间距受参数 distance 控制。

def lightShowImg(bg,minX, maxX,distance,lightStartPos,t):
    """
    实现在背景图像上添加当前散发彩色激光的处理
    :param bg: 背景图像
    :param minX:灯光终点的最大x坐标
    :param maxX:灯光终点的最小x坐标
    :param distance: 不同灯光之间的间距
    :param lightStartPos: 灯光发射点
    :param t: 时间t
    :return: 添加了发射灯光的图像
    """

    x =  (minX+int(t*200))%(maxX*2) #按时间t计算灯光终点的x坐标，该坐标可以超出背景图像范围
    img = np.array(bg)
    if x>maxX: #到达最大范围，需要回扫
        x = 2*maxX-x
    color1,color2,color3 = (255,0,0),(0,255,0),(0,0 ,255 ) #蓝、绿、红三色
    cv2.line(img, lightStartPos, (x, 0), color1, 4)
    cv2.line(img, lightStartPos, (x + distance, 0), color2, 4)
    cv2.line(img, lightStartPos, (x - distance, 0), color3, 4)

    return img

3.3.4、帧图片生成

makeframe 函数实现帧图片生成，带一个参数 t 表示当前帧对应的剪辑时间，在函数内根据剪辑时间来判断是生成片头内容、灯光秀内容还是片尾内容生成 t 时刻对应帧图像返回：

对于片头，采用黄鹤楼照片作为背景，并在图片中央显示“武汉重启一周年灯光秀”；
对于视频内容，则每 2 秒从灯光秀图片队列中随机取一张图片作为当前背景图像，并调用 lightShowImg 增加左下角和右下角的彩色激光效果，同时动态向上滚动显示“热烈庆祝武汉重启一周年”、“武汉万岁！中国万岁！”等标语；
对于片尾，则每 2 秒从武汉风景图片队列中随机取一张图片作为当前背景图像，同时动态向上滚动显示制作信息。

def makeframe(t):
    #生成t时刻的视频帧图像
    global preImg,preTime
    if t<5:#5秒片头
        img = imgAddText(hhlImg,'武汉重启一周年灯光秀',64,(255,0,0),vRefPos='C')
    elif t<40:#5-40秒灯光秀
		minX, maxX = 200, 1200  # 灯光横向扫射范围
    	lightStartPos1 = (0, 600)  # 灯光1的发射点坐标设置为左下角
    	lightStartPos2 = (800, 600)  # 灯光2的发射点坐标设置为右下角
        if (t-preTime)>2 or preImg is None:
            img = np.array(random.choice(lightShowImgList))
            preImg,preTime  = img,t
        else:
            img = preImg
        img = lightShowImg(img, minX, maxX, 80,lightStartPos1, t)
        img = lightShowImg(img, minX-100, maxX+100,48, lightStartPos2, t)
        t = int((t-4)*40)%img.shape[0]
        img = imgAddText(img,'热烈庆祝武汉重启一周年！',48,(0,0,255),vRefPos=-80-t,)
        img = imgAddText(img, '武汉万岁！中国万岁！',48,(255,0,255),vRefPos=-t)
    else:#片尾

        if (t-preTime)>2 or preImg is None:
            img = np.array(random.choice(whImgList))
            preImg,preTime  = img,t
        else:
            img = preImg
        t = int((t - 39) * 20) % img.shape[0]
        img = imgAddText(img,"制片：老猿Python",36,(255,255,255),vRefPos=-120-t)
        img = imgAddText(img, "https://www.infoq.cn/u/laoyuanpython/publish",24,(255,255,255),vRefPos= -60-t)
        img = imgAddText(img, "2021年4月8日", 24, (255,255,255), vRefPos=-t)

    return img

3.3.5、制作视频文件

函数 buildVideoByCV 用于制作视频文件，按指定格式生成一个新的视频文件，然后循环调用 makeframe 生成一帧帧图像写入视频文件中。

def buildVideoByCV():
    videoMake = cv2.VideoWriter()
    fourcc = cv2.VideoWriter_fourcc(*'MP4V') #https://blog.csdn.net/whudee/article/details/108689420

    fps = 12
    videoMake.open(r"F:\\video\\lightShowCV.MP4", fourcc, fps, (800,600))
    for t in range(65*fps):
        img = makeframe(t*1.0/fps)
        videoMake.write(img)
        print(f'\\r视频制作进度：{(t*100.0)/(66*fps):4.2f}%',end='')
    videoMake.release()

上述函数构建后只需要调用 buildVideoByCV 函数即可完成视频制作。

3.3.6、视频效果

四、小结

本文介绍了制作视频雪花飘落特效和灯光秀的原理、实现的思想以及流程，并利用 Python+OpenCV+Moviepy 提供了关键的实现代码，可以供大家理解图像融合、图像制作视频、Moviepy 视频变换的完整案例。

写博不易，敬请支持：
如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

如对文章内容存在疑问，可在博客评论区留言，或关注：老猿Python 微信公号发消息咨询。

更多图像处理的内容请参考专栏《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》、《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》及《图像处理基础知识》的介绍。

关于老猿的付费专栏

付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录》
付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░

以上是关于OpenCV-Python+Moviepy 结合进行视频特效处理的主要内容，如果未能解决你的问题，请参考以下文章

Mayavi通过Moviepy输出动画

MoviePy：减慢视频的渲染速度

python moviepy 的用法，看这篇就能入门

[Python][Moviepy] 如何在音频末尾添加短暂的静音？

python也能玩视频剪辑！moviepy操作记录总结

教你一个快速视频处理的神器：Python moviepy