太牛了，这个神奇工具让你的照片秒变宫崎骏漫画

Posted 2022-02-06 机器学习社区

AnimeGANv2 是开源项目 AnimeGAN 的改进版本，可以将图片和视频转换成漫画风格的工具。采用的是神经风格迁移 + 生成对抗网络（GAN）的组合，转换速度快。

AnimeGANv2 改进的内容主要包括以下几点：

1. 解决生成图像中高频伪影的问题

2. 易于训练，能达到对应论文中的效果

3. 进一步减少生成器网络的参数数量（生成器大小：8.17Mb），精简版的生成器会更小

4. 使用新的高质量风格数据，尽可能来自 BD 电影

项目地址是：

https://github.com/TachibanaYoshino/AnimeGANv2

干货推荐

• 浙大博士导师深度整理：Tensorflow 和 Pytorch 的笔记（包含经典项目实战）
• 值得收藏，这份机器学习算法资料着实太香
• 比 PyTorch 的官方文档还香啊，吃透PyTorch中文版来了
• 赶快收藏，PyTorch 常用代码段PDF合辑版来了

用法

依赖

• python 3.6

• tensorflow-gpu 1.15.0

• opencv

• tqdm

• numpy

• glob

• argparse

• onnxruntime

用法

1. 推理

python test.py --checkpoint_dir checkpoint/generator_Hayao_weight --test_dir dataset/test/HR_photo --save_dir Hayao/HR_photo

2. 将视频转换为动画

python video2anime.py --video video/input/お花見.mp4 --checkpoint_dir checkpoint/generator_Hayao_weight --output video/output

3. 训练

• 下载 vgg19

https://github.com/TachibanaYoshino/AnimeGAN/releases/tag/vgg16%2F19.npy

• 下载数据集

https://github.com/TachibanaYoshino/AnimeGAN/releases/tag/dataset-1

• 边缘平滑

python edge_smooth.py --dataset Hayao --img_size 256

• 训练

python train.py --dataset Hayao --epoch 101 --init_epoch 10

• 提取生成器的权重

python get_generator_ckpt.py --checkpoint_dir ../checkpoint/AnimeGANv2_Shinkai_lsgan_300_300_1_2_10_1 --style_name Shinkai

结果

宫崎骏动漫风格

新海诚动漫风格