CVPR 2021 | “以音动人”：姿态可控的语音驱动说话人脸

我就是我 2023-01-21 11:30 31阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章来源 商汤学术

**摘要 · 看点**

本文不使用任何人为定义的结构信息（人脸关键点或者3D人脸模型），成功实现了人头姿态可控的语音驱动任意说话人脸生成。本文的关键在于，隐式地在潜空间（latent space）中定义了一个12维的姿态编码，用于头部运动控制。

本文相比于之前的方法，避免了关键点或者3D模型计算不准确带来的烦恼，又保持了自由度和鲁棒性。实现了在语音控制准确嘴型的同时，用另一段视频控制头部运动。在这一框架下，我们可以让任何人说出马老师经典的“不讲武德”发言，彩蛋在我们demo video的最后！

本文由香港中文-商汤联合实验室，商汤科技和南洋理工大学S-Lab等合作完成。

![c61d0480eaae14efc18770200a3d2ba9.png][]

生成图像的嘴型由音频控制，与音频源视频同步；

生成图像头部运动由姿态源控制，与下方视频同步。

代码一键能跑。我们的Demo video如下：

**Part 1 任务背景**

**语音驱动的说话人脸生成（Talking face, Talking head generation）**这一课题本身有多种不同的实验设置。此方向的综述可以参考 Lele Chen 的 What comprises a good talking-head video generation? : A Survey and Benchmark \[1\]。在这里本文Focus的方向为基于单张图像（One-shot），面向任意人脸，语音驱动setting下的说话人脸生成问题。具体来说，我们希望基于一张图片，生成与语音同步的说话人脸视频。

这一setting下的工作包括 VGG 组的You said that? \[2\] ，CUHK（笔者自己）的DAVS \[3\]，乐乐的ATVG \[4\] 以及Adobe周洋和李丁博士的MakeitTalk \[5\]等等。整体来讲，之前的工作\[2\]\[3\]\[4\]更多的关注于嘴型的准确性和ID的保存上，从而忽略了头部的自然运动。在本文中我们所试图解决的，是之前说话人脸生成中人头pose难以控制这一问题。

![5a0a87389b2923d0145ba03a6cad91d3.png][]

ATVG Paper中的对比图

最近的Makeittalk\[5\]和乐乐的Rhythmic Head\[6\] 则关注于和个人ID信息有关的自然头部运动。但是他们的方法都依赖于3D的结构化信息。

想独立控制头部运动，就需要对Head pose和facial expression，identity做一个解耦。通过思考我们可以意识到，这种解耦在2D图像和2D landmark的表征中都很难实现。而在我们语音驱动的大前提下，嘴型要和audio对齐，头部运动又要自然，可以说是难上加难。另一方面，3D的人脸表征中，head pose和facial expression可以天然地用不同的参数控制，可以说是最佳选择。

因此之前的工作，Makeittalk\[5\]选择了3D的人脸关键点，而Rhythmic Head\[6\]则直接依赖于完整地3D重建。但是基于3D的人脸建模，尤其是在极端场景下，开源方法的准确度并无法保证。而基于优化算法的3D fitting还会带来大量的预处理负担。所以本文不使用3D或结构化数据，重新从2D入手解决问题。

**Part 2 方法介绍**

我们的方法Pose-Controllable Audio-Visual System (PC-AVS)直接在特征学习和图像重建的框架下，实现了对人头pose的自由控制。我们的核心在于隐式地在潜空间（latent space）中定义了一个12维的姿态编码，而这一设计源于对去年CVPR利用styleGAN实现Face Reeanctment\[7\]的工作（如下图）的参考。

![896f119c1e71f64bc23cae4f03acd536.png][]

但他们工作中只说明了styleGAN可以使用augmented frame进行图像到图像的控制。而在语音驱动的说话人脸问题中，condition实际来自audio的场景下，直接暴力借用这一框架将难以进行训练，因为语音并不能提供人脸姿态信息。

基于对说话人脸的观察，我们在文中把augmented图像的潜空间，定义为无ID空间（Non-Identity Space）。直观上讲，在此空间中，我们可以重新寻找嘴型与语音关联的说话内容空间（Speech Contant Space），和表示头部运动的姿态空间（Pose Space）。

![43694062dcc88d1631e862c237f23907.png][]

我们工作的完整pipeline如下图所示，训练数据使用的是大量的含语音视频。我们使用任意的一帧 ![format_png][] 作为ID参考输入，变形另一帧 ![format_png 1][] 为![format_png 2][]，并将与![format_png 1][]对齐的语音的频谱 ![format_png 3][] 作为condition，试图使用网络恢复![format_png 1][]。

![cf66f2a726f2692d62636be646230a0c.png][]

使用数据集的ID约束，我们可以通过ID encoder ![format_png 4][] 得到Identity Space；借助之前的augmentation，我们通过encder ![format_png 5][] ,得到Non-Identity Space。接下来的问题是如何发挥audio的作用，以及如何让图像只约束Pose而不控制嘴型。

*  Learning Speech Content Space. 我们希望Non-Identity Space的feature经过一个mapping ![format_png 6][] 映射至speech content space中。而这一latent space的学习，主要依赖音频和视频之间天然的对齐、同步信息（alignment）。在之前的工作中这已经被证明是audio-visual领域用处最广泛的自监督之一\[8\]。在这里我们使用语音与人脸序列之间的对齐构建contrastive loss进行对齐的约束；对齐的人脸序列和语音特征 ![format_png 7][] 是正样本，非对齐的 ![format_png 8][] 为负样本。定义两个feature之间的cos距离为 ![format_png 9][] ，这一约束可以表达为：

![format_png 10][]

*  Devising Pose Code. 另一方面，我们借助3D表征中的piror knowledge。一个12维度的向量其实已经足以表达人头的姿态，包括一个9维的旋转矩阵，2维的平移和1维的尺度。所以我们使用一个额外的mapping，从Non-Identity Space中映射一个12维的Pose Code。这个维度上的设计非常重要，如何维度过大，这一latent code所表达的就可能超过pose信息，导致嘴型收到影响。

最后我们把 Identity Space，Speech Content Space 和 Pose code 结合起来，送入基于StyleGAN2\[9\]改造的Generator。这三者的信息在Generator中通过图像重建训练进行平衡，loss形式使用了pix2pixHD的重建训练loss。在训练中，pose code起作用的原理是，在ID和pose信息都显式地被约束的前提下，Pose Code最容易学到的信息是改变人头的姿态，以减少重建的loss。在这一目标下，因为姿态逐渐与我们的目标贴合，嘴型的重建约束也会反过来帮助audio feature的学习，从而达到平衡。

**Part 3 实验结果**

我们在数值上和质量上与之前SOTA的任意语音驱动人脸的方法进行了对比。在数值上，我们对比了LRW和VoxCeleb2两个数据集，重点关注于生成图像还原度（SSIM），图像清晰度（CPDB），生成嘴型landmark的准确度（LMD）和生成嘴型与音频的同步性，使用SyncNet\[8\]的confidence score评价（ ![format_png 11][] ）。

![82105026b82631537e2d68fafae1be6f.png][]

我们与之前方法的对比图如下所示：

![0b234f3ff2722aeecad5139f5bd147e2.png][]

更多的Ablation和结果可以参考我们的paper和demo video，这边展示了在极端情况（大角度，低分辨率）的生成结果。展示了如果我们把pose code置0，可以实现转正的说话人脸效果。

![57982aaf0e51d9369d275cfdc3ffc91a.png][]

**Part 4 总结**

在这个工作中，我们提出了Pose-Controllable Audio-Visual System (PC-AVS)，成功在语音任意说话人的setting下，生成了姿态可控的结果。综合来看我们的方法有以下几个特质值得关注：

1.  我们的方法不借助预定义的结构信息，仅使用一个图像重建的pipeline，成功定义了一个对人脸pose的表征。
2.  由style-based generator平衡的训练模式让唇形生成收到更契合的重建约束，从而提升了唇形对齐的准确度。
3.  我们实现了任意说话人脸下的自由人头姿态控制，使生成的结果更加真实。
4.  我们的模型在极端情况下有很好的鲁棒性，并且实现了转正的说话人脸生成。

**相关链接**

Paper 地址：https://arxiv.org/abs/2104.11116

Github：https://github.com/Hangz-nju-cuhk/Talking-Face\_PC-AVS

Project Page：https://hangz-nju-cuhk.github.io/projects/PC-AVS

**招聘信息**

商汤科技-数字人研发团队现正招聘全职AI研究员和工程师，以及研发实习生。我们的研究成果不仅在各大顶级视觉会议上发表，更在大量实际产品中落地。研发方向包括但不限于：图像/视频生成，人脸/人体重建，多模态学习，语音分析等。对我们的研究感兴趣的小伙伴，可以投递简历至xusu@sensetime.com.

**References**

#What comprises a good talking-head video generation?: A Survey and Benchmark https://arxiv.org/abs/2005.03201
    #Joon Son Chung, Amir Jamaludin, and Andrew Zisserman. You said that? In BMVC, 2017. https://arxiv.org/abs/1705.02966
    #Hang Zhou, Yu Liu, Ziwei Liu, Ping Luo, and Xiaogang Wang. Talking face generation by adversarially disentangled audio-visual representation. In Proceedings of the AAAI ConConference on Artificial Intelligence (AAAI), 2019. https://arxiv.org/abs/1807.07860
    #Lele Chen, Ross K Maddox, Zhiyao Duan, and Chenliang Xu. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. https://www.cs.rochester.edu/u/lchen63/cvpr2019.pdf
    #Yang Zhou, Xintong Han, Eli Shechtman, Jose Echevarria, Evangelos Kalogerakis, and Dingzeyu Li. Makeittalk: Speaker-aware talking head animation. SIGGRAPH ASIA, 2020. https://arxiv.org/abs/2004.12992
    #Lele Chen, Guofeng Cui, Celong Liu, Zhong Li, Ziyi Kou, Yi Xu, and Chenliang Xu. Talking-head generation with rhythmic head motion. European Conference on Computer Vision (ECCV), 2020. https://www.cs.rochester.edu/u/lchen63/eccv2020-arxiv.pdf
    #Egor Burkov, Igor Pasechnik, Artur Grigorev, and Victor Lem-pitsky. Neural head reenactment with latent pose descriptors. In Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition (CVPR), 2020.  https://openaccess.thecvf.com/content_CVPR_2020/papers/Burkov_Neural_Head_Reenactment_with_Latent_Pose_Descriptors_CVPR_2020_paper.pdf
    #Joon Son Chung and Andrew Zisserman. Out of time: auto-mated lip sync in the wild. In ACCV Workshop, 2016. https://www.robots.ox.ac.uk/~vgg/publications/2016/Chung16a/chung16a.pdf
    #Tero Kar

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![2b34ddd34f8b8cf29e28c467008d752f.png][]

[c61d0480eaae14efc18770200a3d2ba9.png]: /images/20221020/6fb81910cd9844ce9981ffea796423f6.png
[5a0a87389b2923d0145ba03a6cad91d3.png]: /images/20221020/8b021efc0d06467780c75c17bd4139e9.png
[896f119c1e71f64bc23cae4f03acd536.png]: /images/20221020/c00bb69154134f0ea647dee099c8b738.png
[43694062dcc88d1631e862c237f23907.png]: /images/20221020/433956ec92ff450c9206323d690bc7a0.png
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFUzaWF3cG44Qk1adHhoVXNpY2lhQlFWUFgzWU1vV1pQYnV4VkxRZ2FZWFFraGJzUHl2RUlLdXU5a3pQaHJIWUs5TnJELzY0MA?x-oss-process=image/format,png
[format_png 1]: /images/20221020/4f708d5e9a9c45e79407c2afdcdeecf2.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFVDYXJ6eHhvOXlEVk9seHlHMmVMM1FDanlPSVJjaHdDQ0pZQ1g5V0pSMGJpY21XTWMzYlNOOWpWNGF5cWd0VWlhT0gvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFVuWDZ3bmJzUXU3WGliTUJUT1Z5d0FiNmRZbVo5OXFha2FYVVdVWEpqajJ4eWliMGliRE0wYTEwWnhnN1VzckZVSlcyLzY0MA?x-oss-process=image/format,png
[cf66f2a726f2692d62636be646230a0c.png]: /images/20221020/1239021cb54b447ca4f144bc176dce5e.png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFVPc0hpY2tTbFBBdVY3Y3Iwb1RkRGduS0c4S2lhYlRoUklkZmljM1ZrOHhSSm1uYzcxM3U2Q3pyV3VuVUdoc3cxaWEwWi82NDA?x-oss-process=image/format,png
[format_png 5]: /images/20221020/618eb2dca711422489f3d5a5af9ef7c2.png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFVPbnV3Mnd4bWhWaWNCOExxMVYwYU5sT2liWm1ENWlhRXZKN0FOT0M0WkdoV1k1dVhpYlBIS2ljUGczZWFzcWt5TnZ1ME4vNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFVRdjlib2ljMTF2ekl1Qm5DbUxNbVVWUHZUWXR5WHE0T084N2liczVyNTduMXdPYmlhTVlzVVZ1aWFpYW11VlhQV202cDIvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92UGpmaWN3dGdUSkFPa1NMWDB1d003YnVnZ0hrR1Z1OFU3azJQVEdtb0tzVnhpYkdvcnpka21QWm9PZWRZSHFTWmljOTNybURtZ1MzcVphZFVGOGZJQ3p2V2FnYmpMV2x5ZkYvNjQw?x-oss-process=image/format,png
[format_png 9]: /images/20221020/6234b85b0c104d8e94446bfb257e43f1.png
[format_png 10]: /images/20221020/c745c85ad4bd45c6b5e88ebfed6248a2.png
[format_png 11]: /images/20221020/ebd745ed634a483d86bb9b2a60389643.png
[82105026b82631537e2d68fafae1be6f.png]: /images/20221020/2fd12e3ef9174405b0349e6f7b060661.png
[0b234f3ff2722aeecad5139f5bd147e2.png]: /images/20221020/4a58f7f8949d4afdbab1585bff24e58c.png
[57982aaf0e51d9369d275cfdc3ffc91a.png]: /images/20221020/6151be00b73a422fbce7fa20fcbc95e5.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[2b34ddd34f8b8cf29e28c467008d752f.png]: /images/20221020/99503b49447640d5aed14f52aff46445.png