不用一个公式但也不够形象的理解光流法（LK,GF光流法）

妖狐艹你老母 2023-07-06 08:58 72阅读 0赞

## 一，光流法的设定： ##

**强假设：**两帧间同一物体点灰度值不变

**弱假设：**两帧间物体运动幅度小

光流法求解的是图像中像素点的瞬时速度，图像的每一个像素的灰度值可以看作是关于该像素点坐标以及时间的函数。所以我们通过上面的第一条强假设，得到一个两帧同一物体点灰度值相等的等式，前一帧和当前帧同一像素点的描述函数不同的是像素点的坐标和时间变量各多了一个偏移量。我们对这个等式求关于帧间隔时间的偏导，再进行泰勒展开，一顿不复杂也不猛的操作（想看具体的点[这里][Link 1]，真的很简单），就得到了一个光流的约束方程（作者：*Horn*和*Schunck*），这个方程描述的是一个像素点的瞬时速度（x,y两个方向）和灰度值以及帧间隔时间的关系，一个方程两个未知量，无解。

为了让这个光流约束方程有解，我们需要再来一个约束方程，根据新的不同约束方程的引入，光流法分成了好几个流派：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。人们在光流法领域的探索中基本都是基于以上方法的改进，持续到2014年

直到在2015年之后才出现了新的流派使用CNN来解决光流估计问题。深度学习固然强大，但是到目前的结果来看，CNN光流法依然不够强大，经典的传统光流算法依然是应用的主流。

而主流中的中流砥柱是LK（Lucas-Kanade）光流法（稀疏光流法）和GF（Gunnar Farneback）光流法（基于梯度的方法，稠密光流法）

## 二，LK（Lucas-Kanade）光流法 ##

**新的假设：**在一个很小的邻域内，所有像素点运动方向与大小相等，即局部运动一致性（注意不只是相似而是完全相等的强假设）

若邻域内有N个像素点，则可以得到N个光流的约束方程，这些方程像素点的瞬时速度均与中心像素点的瞬时速度相等，这样得了约束条件过多的系统方程，然后通过一顿瞎操作，问题变成了用最小二乘法的极小值估计。

这些中间过程，计算式，推导什么的不需要明白（对于我这样的瓜皮程序猿），你只需要记住：

LK算法是对一个图像窗口内所有像素点的灰度值带入计算得到了两个输出值，这两个输出值近似可以表征该像素点的瞬时速度矢量。它只能计算已经配准的像素点的瞬时速度矢量。

## 三，GF（Gunnar Farneback）光流法 ##

**新的假设**：光流的变化（向量场）几乎是光滑的（肉眼感觉到这个假设要好的多）

于是乎对光流的约束方程再求导，得到像素瞬时速度的梯度，时间，灰度值的关系，这个关系式也可以称之为局部图像灰度的变化率，同样把邻域代进去也会得到N个系统方程，又是最小二乘问题，但与LK不同的是：

1，利用最小二乘法求解时，并非是邻域内每个像素点样本误差都对中心点有着同样的影响力，函数中利用二维高斯分布将影响力赋予权重。

2，LK光流法的假设已经决定了参与计算的2个像素中心点必须是配准的，所有LK光流法是稀疏光流法，而GF光流法没有这个假设，它可以计算每一个像素点的光流矢量是稠密光流法。

3，作者对图像采用二次多项式建模，最小二乘迭代最优解的结果是可以拆分成多个子卷积，极大的提高了计算速度。

同样的我们只需要记住：

GF算法是对一个图像窗口内所有像素点的灰度值带入计算得到了两个输出值，这两个输出值近似可以表征该像素点的瞬时速度矢量。**它不需要2个像素点配准，它可以计算图像中所有点的瞬时速度矢量。**

## **四，重点** ##

想不明白的是：光流法可以估计两帧间像素点的瞬时速度，这个速度乘以帧间隔不就是位移吗，故光流法可以估计两帧间像素特征点间的位移。我顿时就惊呆了，我分别计算两帧的特征点，然后进行匹配，一做差不就得到帧间特征点位移了吗？这光流法与特征点匹配有什么区别？？？

光流法与其他hog，梯度直方图，SIFT各种特征描述子的计算的区别：特征描述子是对像素中心点周围的像素点的灰度值或者梯度值进行编码，获得的是一种有规律的编码值，该编码值可以有效描述这个像素点独有的特征。

而光流法对周围像素点的利用是把他们的灰度值是用来求解光流的约束方程用的。

孰优孰劣：在2020年看来对于帧间运动估计领域，使用优秀的特征描述子比如SIFT做出的运动估计要比LK光流法好太多，但是特征点嘛，一定是要配准的，而且求特征点这种计算本身就非常耗时这是其缺点，LK光流法由于孔径问题和某些情况下系统方程无解问题已经过时了。考虑到特征描述子无法描述每个像素点的特征，对于平坦区域甚是无力，GF光流法依然是佼佼者。

[Link 1]: https://blog.csdn.net/ReadAir/article/details/88073068