厉害了！GitHub火爆的DeepFake变脸即将用于拍电影？这是要让替身演员失业的节奏？

Posted 2021-04-10 码农突围

     
       
       
     

      
        
        
      这里是码农充电第一站，回复“666”，获取一份专属大礼包
     
       
       
     
     
       
       
     

      
        
        
      真爱，请设置“星标”或点个“在看”
     
       
       
     

作者：GG哥

来源：GitHub爱好者社区（github_shequ）

Hello，大家好，我是GG哥！

此前曾推荐过GitHub开源库DeepFakeLab，可以看之前的这篇文章《 》，这个牛逼的工具，可以实现视频中换脸，近日迪士尼研究所（Disney Research|Studios）发表论文称，他们做出了比DeepFakeLab更强的高分辨率变脸效果。即将用于电影产业，过去我们知道，很多明星会让替身，去代替真人去拍摄一些危险的戏，而迪士尼研究室这一论文，一发布，让很多替身演员坐不住了，这不是要失业的节奏？

迪士尼研究室表示：换脸法的结果。所有图像以百万像素的分辨率在时间相干视频中作为帧生成片段，我们可以看一下Gif和视频:

支持1024*1024分辨率及以上，脸上的寒毛都可以看清楚，而DeepFakeLab最高也仅仅支持320*320.

那么他们是怎么做的呢？流程如下：

• 在步骤(1)和(2)中，我们通过裁剪和归一化人脸对输入进行预处理。

• 在步骤(3)将预处理后的图像传入通用编码器，用相应的解码器Ds解码。

• 在(4)中，我们使用我们的多波段混合来交换目标和源面。

单编码器，多解码器网络架构

GG哥给大家总结下：在百万像素分辨率下进行真实感面部转换的完整方法：

1. 对于图像xt，检测人脸并定位人脸地标。

2. 将人脸归一化到1024×1024分辨率，保存归一化参数。

3. 将归一化后的面输入网络并保存输出

4. 反向图像归一化使用保存的参数，进行模型训练

5. 在图像x˜s和混合产生的图像与训练后的图像xt使用合成，把差别帧剔除。

管道中最关键的组件是模型本身， 最后他们展示了一个和DeepFakeLab以及其他变脸库的效果对比图：

 
   
   
 

  
    
    
  好啦，今天的分享就到这儿啦，我们下次见啦~
 
   
   
 
 
   
   
 

  
    
    
  

 
   
   
 
 
   
   
 

  
    
    
  
 
   
   
 
 
   
   
 

  
    
    
  
GitHub原创推荐
  
    
    
  
 
   •   
  
  
    
    
  
 
   •   
  
  
    
    
  
 
   •   
  
  
    
    
  
 
   •   
  
  
    
    
  
 
  
  
    
    
  
 
   关注「Github爱好者社区」加星标，每天带你逛Github好玩的项目