人脸识别之人脸对齐（九）--SDM算法

骑猪看日落 2022-05-18 00:14 407阅读 0赞

转自：http://blog.csdn.net/huneng1991/article/details/51901912

http://blog.csdn.net/qq\_14845119/article/details/53520847

略删改。

SDM(Supervised Descent Method)是一种监督下降方法，属于解决非线性最小化NLS(Non-linear Least Squares)问题的一种方法。

解决非线性最优化问题通常有2个难点，

（1）方程不可微，或者计算量太大

（2）Hessian矩阵太大，或者不是正定矩阵

基于这样的难点，作者提出了自己的SDM方法，可以用于解决上述的问题，并成功的用次方法解决了人脸对齐中关键点的回归问题，取得了state-of-the-art的效果。

![20161208165600114][]

一个传统和奏效的解决最小化二乘问题的方法就是牛顿下山法，正如，上面左图所示，通过牛顿迭代，最终可以找到一个全局最小值。这样的迭代也肯定是效果最好的，但是在实际工程应用中，是不会有足够的计算资源来将所有样本一下都计算进去的，于是就有了上面右图的方法，更新每一个daerta(x)，每次都会找到一个最小值，然后不断迭代，减少最小值之间的误差距离，最终就会找到全局最小值，类似深度学习里的Mini batch SGD，就像吴恩达视频中讲的，虽然没有理论的证明，局部最小值就是全局最小值，但是很多实际的经验告诉我们，最后，只能收敛到一个最小值，也就是说，很多现实实际问题是只有一个最小值的。

ps:还是很喜欢这个图中的牛顿，高斯和拉格朗日。

SDM推导：

![20161208165618617][]

SDM的过程就是最小化上面函数的过程，其中，

d为m\*1维，表示有m个像素，

d(x)为p\*1维，表示p个Landmarks，

h为非线性的特征提取函数，提取的sift特征h(d(x))为128p维

将上式子进行泰勒展开变为了下面的式子，

![20161208165637802][]

第一次初始化det(x1)按下式计算，

![20161208165656381][]

初始化时，第一次对于det(fai)的计算，可以看成det(fai)到R0的投影，因此，也可以近似的将R0看成是梯度方向。

![20161208165721991][]

由于将R0近似为梯度方向，所以det由上面的非线性问题转化为下面式子的线性问题，

![20161208165746866][]

整个的训练过程就是求一个最佳的R0和b0的过程，来保证det最小。最终也就将递推公式由下面的第一个式子转化为下面的第二个式子，也就不需要hession矩阵和Jacobian矩阵的计算了。实现了由2次问题到1次问题的转化，但是2次问题肯定会收敛，1次的则很难保证，因此，作者引入了fai(k)这个一系列的特征向量，而不是上式一样，只有一个fai(0)，从而来保证收敛，实验过程中，迭代4-5次后就会收敛。

![20161208165805992][]

训练过程中，采用L2-loss，如下式子，

![20161208165823070][]

假设x服从正态分布，采用蒙特卡洛（Monte Carlo）方法采样，转化为求下式的最小值，

![20161208165842274][]

采用多个特征向量后就转化为下式，

![20161208165900087][]

实验效果：

在人脸对齐中，一个很重要的性能指标就是姿态估计，包括，yaw（左右旋转），roll（平面内旋转），pitch（上下旋转）

![20161208165916883][]

按作者论文中在Youtube上面的测试，姿态估计可以实现，yaw(-45到+45)，roll(-90到+90)，pitch(-30到+30)，在i5-2400上达到了30fps的速度。

![20161208165939040][]![20161208165947540][]

github上热心网友的程序：

[https://github.com/patrikhuber/superviseddescent/][https_github.com_patrikhuber_superviseddescent]

[https://github.com/RoboPai/sdm][https_github.com_RoboPai_sdm]

reference：

\[1\]Szabó Z. Supervised Descent Method and its Applications toFace Alignment\[J\]. 2015.

\[2\]www.humansensing.cs.cmu.edu/intraface

#  方法介绍 #

SDM 人脸对齐的核心内容很简单，就是特征到偏移量的映射：

Ix = R

I 是特征，x是映射矩阵，R是偏移量。SDM人脸对齐方法训练的目的就是得到映射矩阵x，步骤如下：

1）归一化样本，使样本的尺度统一；

2）计算均值人脸；

3）将均值人脸，作为估计人脸放在样本上，使均值中心和原始人脸形状中心对齐；

4）计算基于每一个均值人脸的标记点的特征，sift，surf或者hog，切记不要基于灰度值的相互特征；

5）将所有点的特征串在一起，形成样本特征，所有样本特征形成矩阵I；

6）计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

7）解线性方程Ix=R， matlab中可用x = I \\ R，lapack中可用函数dgelsd。

估计形状加上预测偏移量就是结果，在实际情况中，共需要训练多层，二层以后需要使用上一层对齐的结果作为估计形状。

实际在运用过程中可能会遇到各种问题，总结下来有以下几点：

1）速度太慢，尤其是使用sift，surf特征；

2）无效，基于灰度值类的特征由于在标记点周围的小窗口内，灰度值基本一致，变化不大，这也是人脸的一个显著特征；

3）效果有待提高，hog特征有效的解决上述问题，但是始终不理想，尤其是，水平大角度偏转。

#  结果介绍 #

对齐效果见下面的图片。训练数据是手工标记的4000张图片，经过随机仿射变换扩展至60000（此方法提升效果有限）。一张人脸的对齐速度在3.5GHz CPU上单核是1.8ms，可多核提速，模型大小2.4M左右，并成功运用到人脸标记点追踪上，追踪可以解决大角度偏转，大部分90度偏转也是有效的

[20161208165600114]: /images/20220518/0f8e506462504b6db6c2efece01e37a5.png
[20161208165618617]: /images/20220518/8aa4dea42b8a4d0aab8b2749768a6fdc.png
[20161208165637802]: /images/20220518/18a50e3892954c24a54a33ec8e819697.png
[20161208165656381]: /images/20220518/aba323b6986d4da2a9aa561eebb61759.png
[20161208165721991]: /images/20220518/9315e9faece7431e8fc81cbea9a406d9.png
[20161208165746866]: /images/20220518/c918181e6a894e1c9fba198118f9057e.png
[20161208165805992]: /images/20220518/c4c9334152e14370b013a9c1408dd88f.png
[20161208165823070]: /images/20220518/4ab50c9f3dcf48139b32d6c32692591f.png
[20161208165842274]: /images/20220518/aded311f8e9c4afea7578b1fd99a5751.png
[20161208165900087]: /images/20220518/f671820399b24d5ab08902401bc582e0.png
[20161208165916883]: /images/20220518/2d517bc13d7c4371993aa34ee0955ed0.png
[20161208165939040]: https://img-blog.csdn.net/20161208165939040
[20161208165947540]: /images/20220518/328628e24e7c442ca36b849e965d0568.png
[https_github.com_patrikhuber_superviseddescent]: https://github.com/patrikhuber/superviseddescent/
[https_github.com_RoboPai_sdm]: https://github.com/RoboPai/sdm