SimSwap 高保真人脸交换的高效框架 以及 deepfake辨别图片或者视频真假 dalle-mini文字生成图片

Posted 2022-05-31 AI架构师易筋

1. SimSwap 高保真人脸交换的高效框架

简单交换（SimSwap），旨在实现广义和高保真人脸交换。与之前的方法要么缺乏泛化到任意身份的能力，要么无法保留面部表情和注视方向等属性，我们的框架能够将任意源人脸的身份转换为任意目标人脸，同时保留人脸的属性。目标面。我们通过以下两种方式克服了上述缺陷。首先，我们提出了 ID 注入模块 (IIM)，它在特征级别将源人脸的身份信息传输到目标人脸。通过使用这个模块，我们将特定身份的人脸交换算法的架构扩展到任意人脸交换的框架。第二，我们提出了弱特征匹配损失，它有效地帮助我们的框架以隐式方式保留面部属性。对狂野面孔的广泛实验表明，我们的 SimSwap 能够实现具有竞争力的身份性能，同时比以前的最先进方法更好地保留属性。代码已经在 github 上可用。

Code lab 执行程序：https://colab.research.google.com/github/neuralchen/SimSwap/blob/main/SimSwap%20colab.ipynb#scrollTo=Rty2GsyZZrI6

原始视频

生成的3张脸都是钢铁侠的脸了，钢铁侠弟弟妹妹们。

2. deepfake辨别图片或者视频真假

https://huggingface.co/spaces/Ron0420/EfficientNetV2_Deepfakes_Image_Detector
上传李沐大神的照片，竟然是假人😶

再换一张 demo下面的Example

看看视频检测，用codelab 生成的视频校验一下
https://huggingface.co/spaces/Ron0420/EfficientNetV2_Deepfakes_Video_Detector

换脸的视频竟然没有检测出来。。。

3. dalle-mini 文字生成图片

https://huggingface.co/spaces/dalle-mini/dalle-mini
输入 duck engineer (鸭子工程师)

输入 avocado chair (牛油果椅子)

参考

https://arxiv.org/abs/2106.06340
https://github.com/neuralchen/SimSwap