基于人脸先验的人脸超分FSRNet

骑猪看日落 2023-02-20 07:29 18阅读 0赞

论文：[FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors][FSRNet_ End-to-End Learning Face Super-Resolution with Facial Priors]

Github：[https://github.com/tyshiwo/FSRNet][https_github.com_tyshiwo_FSRNet]

[https://github.com/cs-giung/FSRNet-pytorch][https_github.com_cs-giung_FSRNet-pytorch]

**CVPR2018**

![20200624194411202.png][]

人脸超分是超分领域的一个子集。论文使用人脸关键点facial landmark heatmaps 和人脸解析分割图parsing maps 做约束，提出了适用于人脸的超分网络结构，Face SuperResolution Network (FSRNet) 。在Titan X GPU 上128\*128的输入，仅需0.012s 。

![20200624194452616.png][]

主要贡献：

1.  首次使用人脸几何先验来优化人脸超分问题，并且实现了方便的端到端的训练模式。
2.  2种人脸几何先验信息被提出，人脸关键点facial landmark heatmaps 和人脸解析分割图parsing maps。
3.  FSRNet取得了state-of-the-art 的效果，同时支持人脸非对齐情况，低分辨率情况（16\*16），基于GAN方式训练的FSRGAN 取得了比FSRNet更生动的超分效果。
4.  除去超分的2个评价标准，峰值信噪比Peak Signal-to-Noise Ratio (PSNR) ，结构化相似性Structural SIMilarity (SSIM) ，论文提出了使用人脸对齐和人脸解析，作为超分的一种新颖的评价方式。解决了传统视觉评价标准的非连续性问题。

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

FSRNet由coarse SR network, fine SR encoder, prior estimation network , fine SR decoder 共4个模块组成。

网络输入分辨率为128\*128\*3，输出也是128\*128\*3。coarse SR network不改变输出大小。fine SR encoder对网络进行了下采样，将输入从128\*128\*3变化为64\*64。prior estimation network对网络进行了下采样，将输入从128\*128\*3变化为64\*64\*11。fine SR decoder使用反卷积对网络进行了上采样操作，最终输出变化为128\*128\*3。

coarse SR network负责将低分辨率的输入图片转化为一个相对高清的图片。这么做是因为，低分辨率的图片不适合提取人脸关键点和人脸解析图。

> The motivation is that it is non-trivial to estimate facial landmark positions and parsing maps directly from a LR input image.

![20200624194610158.png][]

C 表示将低分辨率转化为高分辨率的方法。

x表示输入的低分辨率图片

yc表示输出的相对粗糙的高分辨率图片。

然后相对粗糙的高分辨率图片yc分别输入更精细的超分编码单元F（fine SR encoder）,先验提取单元P（prior estimation network）

![20200624194624905.png][]

之所以要使用人脸先验信息，是因为，

1.  当图片分辨率从高降为低的过程中，形状信息相比纹理信息可以更好的保留。因此，形状信息可以被提取出来辅助超分优化。
2.  形状先验信息相比纹理先验信息更容易提取学习。

prior estimation network采用沙漏类型HourGlass (HG) 的网络结构。

最终，超分编码特征f和先验特征p会被输入精细的超分解码单元，得到最终解码输出y。

![20200624194649529.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

FSRGAN的判别器的输入为低分辨率图片和恢复后的高分辨率图片的结合，或者是，低分辨率图片和真实高分辨率图片的结合。然后对网络进行下采样操作，最终输出是真还是假。

Loss函数：

![20200624201342234.png][]

训练集合可以定义为，

![2020062419473340.png][]

x:输入的低清的图片

y:低清图片对应的高清图片label

p:人脸的关键点和解析图label

N:一共的训练样本数目

![20200624194747141.png][]

最终FSRNet的loss就是，coarse SR network, prior estimation network , fine SR decoder这3个模块的loss。

FSRGAN在FSRNet的基础上，增加了GAN的判别loss，感知loss，

判别loss，

![20200624194806974.png][]

感知loss，使用vgg16的relu5\_3 层提取，

![20200624194826581.png][]

最终，FSGAN的loss，

![20200624194839329.png][]

人脸先验：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

人脸先验信息中的，人脸解析图和人脸关键点都会对人脸超分有大的促进作用。其中，关键点可以使得PSNR提升0.4dB，解析图可以提升1.0dB，两者一起用可以提升1.05dB。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

结论，

1.  人脸解析图比人脸关键点对超分产生更大的提升。
2.  全局解析图比局部解析图更有用。
3.  相比49个人脸关键点，增加更多的关键点不会对结果有更大的提升。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5][]

总结：

FSRGAN虽然得分比FSRNet低点，但是视觉效果FSRGAN更好。

[FSRNet_ End-to-End Learning Face Super-Resolution with Facial Priors]: https://drive.google.com/file/d/10i2NZfUyf2Yold4ABusz3Que-XN_gEEu/view
[https_github.com_tyshiwo_FSRNet]: https://github.com/tyshiwo/FSRNet
[https_github.com_cs-giung_FSRNet-pytorch]: https://github.com/cs-giung/FSRNet-pytorch
[20200624194411202.png]: https://img-blog.csdnimg.cn/20200624194411202.png
[20200624194452616.png]: https://img-blog.csdnimg.cn/20200624194452616.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200624194537410.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20200624194610158.png]: https://img-blog.csdnimg.cn/20200624194610158.png
[20200624194624905.png]: https://img-blog.csdnimg.cn/20200624194624905.png
[20200624194649529.png]: https://img-blog.csdnimg.cn/20200624194649529.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020062419471454.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200624200450187.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20200624201342234.png]: https://img-blog.csdnimg.cn/20200624201342234.png
[2020062419473340.png]: https://img-blog.csdnimg.cn/2020062419473340.png
[20200624194747141.png]: https://img-blog.csdnimg.cn/20200624194747141.png
[20200624194806974.png]: https://img-blog.csdnimg.cn/20200624194806974.png
[20200624194826581.png]: https://img-blog.csdnimg.cn/20200624194826581.png
[20200624194839329.png]: https://img-blog.csdnimg.cn/20200624194839329.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200624194910359.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200624194946255.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200624195029438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70