2021.02网易_MeInGame_Create a Game Character Face from a Single Portrait

叁歲伎倆 2022-09-07 15:50 19阅读 0赞

原文链接：[https://baijiahao.baidu.com/s?id=1691193265150978787&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1691193265150978787_wfr_spider_for_pc]

鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI

给AI一张毛不易的照片，它自动就能生成一个古风毛大侠。

![8c1001e93901213f939e82ef07d230d92f2e9515.jpeg_token_f3b1bd2da110cfb14c10976a8ecbcb91_s_D711798F0CE5A1198735C9DF03008083][]

小姐姐冷艳的气质，可以被还原出一代侠女风范。

![ca1349540923dd54dc8e5284833cb5d69d82481e.jpeg_token_a4a097ca5f924423a91009b0b7343a4b_s_033459878AC3B5190735F17F03004003][]

也可以探索一下，奥巴马穿越回宋朝是一种怎样的体验……

![d833c895d143ad4b0cf4c47ed0375ca7a50f0677.jpeg_token_68cd4d30e4322ab941b66711900c6c9a_s_B1325395C0E23519121D053A0300F011][]

现在，想在游戏里定制化自己的脸，你可以不用自己花时间琢磨参数了。

熟悉游戏的小伙伴可能认出来了，这一套AI捏脸术，来自网易伏羲人工智能实验室和密歇根大学。

现在，最新相关研究登上了AAAI 2021。

据作者介绍，这个名为MeInGame的方法，可以集成到大多数现有的3D游戏中，并且相比于单纯基于3DMM（3D Morphable Face Model ）的方法，成本更低，泛化性能更好。

具体实现细节，一起来看。

方法原理

研究人员将人脸形状和纹理的重建，视作一个自监督的面部相似度测量问题。

![54fbb2fb43166d22b85cc95914160fff9152d296.jpeg_token_329b823e1342466f8f591d33d8dee78f_s_4800E8139D227C0350D960CA0300E0B2][]

首先，对于输入照片，预先训练好的形状重建器会预测其3DMM和姿势系数，并在保持拓扑结果的同时，将3DMM网格转换成游戏网格。

这么做的原因，是3DMM网格的拓扑结构与大多数游戏中使用的网格不同。直接基于3DMM来从单张图像中还原出游戏中的3D人脸，需要大量的人脸纹理数据进行训练，费时费力不说，实验室条件下收集的数据也可能出现泛化不佳的问题。

接着，基于游戏网格，将输入图像解包到UV空间，创建一个粗纹理图。纹理会由一组编码器-解码器模块进行进一步细化。

另外，研究人员还设计了光照归回器。这是一个轻量级网络，由几个完全连接层组成，能根据图像特征预测光照方向、环境光、漫反射、高光等光照系数。

最后，将预测出的形状、纹理和光照系数一起反馈给可微分渲染器，在结果与输入的人脸照片相似的情况下，驱动2D人脸渲染。

研究人员还引入了两个判别器，来进一步改善结果。

具体到数据集的准备方面，这项研究提出了一种低成本面部纹理采集方法：与其他需要多视角图像的方法不同，只使用单视角图像，因此更加容易获取。

步骤如下：

对于输入的人脸图像，使用预训练人脸分割网络检测皮肤区域；计算输入人脸皮肤的颜色均值，并将均值迁移到模板纹理图（由游戏开发者提供）；根据游戏网格，将输入的人脸图像进行解包到UV空间。使用泊松混合，将解包后的图像与模板纹理图进行融合。移除头发、眼镜等非皮肤区域，并尽可能利用对称性补齐遮挡区域。

![a2cc7cd98d1001e9b5efb56eed3b7de455e797b9.jpeg_token_24d1dbf7d23868b1452802cff70a9aef_s_6E92698F98A43C9A5C9915AE0300A030][]

实验结果

所以，网易伏羲实验室&密歇根大学的MeInGame，跟前辈方法们相比有何优势？

从与A Dream of AI、Loomie、ZEPETO等方法的定性比较结果来看，该方法无论是在面容（包括肤色）的还原度上，还是妆面这样的个性化细节上，都要略胜一筹，并且能消除光照和遮挡的影响。

而基于3DMM的方法虽然能够高度还原真实人脸，但其建模不包括完整的头部模型及纹理，很难直接用于游戏环境。

![1ad5ad6eddc451da6611af13e3c8546ed1163224.jpeg_token_7465a1d05404da1cd86b90d67466567c_s_4F915D8BC89585FB1CA58DF503001060][]

根据论文信息，相关代码和数据集，将会在GitHub上释出。

传送门

论文地址：https://arxiv.org/abs/2102.02371

GitHub地址：https://github.com/FuxiCV/3D-Face-GCNs

— 完 —

举报/反馈

[https_baijiahao.baidu.com_s_id_1691193265150978787_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1691193265150978787&wfr=spider&for=pc
[8c1001e93901213f939e82ef07d230d92f2e9515.jpeg_token_f3b1bd2da110cfb14c10976a8ecbcb91_s_D711798F0CE5A1198735C9DF03008083]: /images/20220829/b0eb904623834649be28e91711ed57a9.png
[ca1349540923dd54dc8e5284833cb5d69d82481e.jpeg_token_a4a097ca5f924423a91009b0b7343a4b_s_033459878AC3B5190735F17F03004003]: /images/20220829/83af91a58b7d4f91b91fe771f0025b52.png
[d833c895d143ad4b0cf4c47ed0375ca7a50f0677.jpeg_token_68cd4d30e4322ab941b66711900c6c9a_s_B1325395C0E23519121D053A0300F011]: /images/20220829/7c2d171cb5974d2aa1afce4e3e9c06e2.png
[54fbb2fb43166d22b85cc95914160fff9152d296.jpeg_token_329b823e1342466f8f591d33d8dee78f_s_4800E8139D227C0350D960CA0300E0B2]: /images/20220829/3251ee89e61b436594e0b8c7afc732bc.png
[a2cc7cd98d1001e9b5efb56eed3b7de455e797b9.jpeg_token_24d1dbf7d23868b1452802cff70a9aef_s_6E92698F98A43C9A5C9915AE0300A030]: /images/20220829/0e6c6b8b71034fc0a6f46a0146589c92.png
[1ad5ad6eddc451da6611af13e3c8546ed1163224.jpeg_token_7465a1d05404da1cd86b90d67466567c_s_4F915D8BC89585FB1CA58DF503001060]: /images/20220829/d509007a509e4cdfb23ff240bc9cd0d8.png