Python相片视频转卡通动漫风格效果源码方案

Posted 2023-03-30 Softboy_TM

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python相片视频转卡通动漫风格效果源码方案相关的知识，希望对你有一定的参考价值。

相片转卡通动漫风格的比较多，而且各大bat厂都有很多方案，很多都能免费用一段时间。市场上应用也算是比较广泛。本质就算通过api请求大厂服务器，然后返回一张风格画的图片。但是对于视频风格化的源码方案非常少。原因有：1：视频对分辨率要求高，视频的帧率高很多视频帧率都是30，也就是1秒30张图，运算量非常大。2：视频风格化运算量大，这样时间花费更长，而应用又没那么广泛。图片很多都是做头像娱乐一下使用，视频估计也就能发下抖音，本人打算做搬运。它还可以制作卡通动画吗？！用来制作影视制作后期也是可以的。

本方案能离线在本地电脑运行，算力使用cpu或者gpu.支持视频/图片 4种动漫卡通风格化选择。

【源码在文章的最后，关注订阅可见】

对于人物肖像：

对于风景效果：

由此源码开发的软件叫：mcartoon ，我们来看看这个软件界面和视频风格化的视频效果。

Python案例短视频转动漫效果

近日，已使用多年的人教版小学数学教材中的插画引发社会各界人士争议。咱程序员也没有手绘插画能力，但咱可以借助强大的深度学习模型将视频转动漫。本文目标是让任何具有python语言基本能力的程序员，实现短视频转动漫效果。示例效果如下：

1 视频转动漫整体实现思路

整个实现流程如下：

读取视频帧
将每一帧图像转为动漫帧
将转换后的动漫帧转为视频

难点在于如何将图像转为动漫效果。这里我们使用基于深度学习的动漫效果转换模型，考虑到许多读者对这块不了解，因此我这边准备好了源码和模型，直接调用即可。不想看文章细节的可以直接拖到文章末尾，获取源码。

2 图像转动漫

为了让读者不关心深度学习模型，已经为读者准备好了转换后的onnx类型模型。接下来按顺序介绍运行onnx模型流程。

2.1 安装`onnxruntime`库

pip install onnxruntime

如果想要用GPU加速，可以安装GPU版本的onnxruntime:

pip install onnxruntime-gpu

需要注意的是：

onnxruntime-gpu的版本跟CUDA有关联，具体对应关系如下：

当然了，如果用CPU运行，那就不需要考虑那么多啦。考虑到通用性，本文全部以CPU版本onnxruntime。

2.2 运行模型

先导入onnxruntime库，创建InferenceSession对象，调用run函数。如下所示

import onnxruntime as rt 
sess = rt.InferenceSession(MODEL_PATH)
inp_name = sess.get_inputs()[0].name
out = sess.run(None, inp_name: inp_image)

具体到我们这里的动漫效果，实现细节如下：

import cv2
import numpy as np
import onnxruntime as rt 

# MODEL = "models/anime_1.onnx"
MODEL = "models/anime_2.onnx"

sess = rt.InferenceSession(MODEL)
inp_name = sess.get_inputs()[0].name


def infer(rgb):
    rgb = np.expand_dims(rgb, 0)
    rgb = rgb *  2.0 / 255.0 - 1 
    rgb =  rgb.astype(np.float32) 
    out = sess.run(None, inp_name: rgb)
    out = out[0][0]
    out = (out+1)/2*255
    out = np.clip(out, 0, 255).astype(np.uint8)
    return out

def preprocess(rgb):
    pad_w = 0
    pad_h = 0
    h,w,__ = rgb.shape
    N = 2**3
    if h%N!=0:
        pad_h=(h//N+1)*N-h
    if w%2!=0:
        pad_w=(w//N+1)*N-w
    # print(pad_w, pad_h, w, h)
    rgb = np.pad(rgb, ((0,pad_h),(0, pad_w),(0,0)), "reflect")
    return rgb, pad_w, pad_h

其中, preprocess函数确保输入图像的宽高是8的整数倍。这里主要是因为考虑到深度学习模型有下采样，确保每次下采样能被2整除。

2.3 单帧效果展示

3 视频帧读取与视频帧写入

这里使用Opencv库，提取视频中每一帧并调用回调函数将视频帧回传。在将图片转视频过程中，通过定义VideoWriter类型变量WRITE确保唯一性。具体实现代码如下：

import cv2
from tqdm import tqdm

WRITER = None
def write_frame(frame, out_path, fps=30):
    global WRITER
    if WRITER is None:
        size = frame.shape[0:2][::-1]
        WRITER = cv2.VideoWriter(
            out_path,
            cv2.VideoWriter_fourcc(*'mp4v'),  # 编码器
            fps,
            size)
    WRITER.write(frame)

def extract_frames(video_path, callback):
    video = cv2.VideoCapture(video_path)
    num_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
    for _ in tqdm(range(num_frames)):
        _, frame = video.read()
        if frame is not None:
            callback(frame)
        else:
            break