光流法—光流场估计概念

╰+哭是因爲堅強的太久メ 2022-12-19 13:23 408阅读 0赞

**目录**

1. 图像的产生

2. 光流的概念

3. 光流场和运动场之间的关系

--------------------

**光流算法参看：[经典光流计算方法（HS光流法、Lucas-Kanada方法、Pyramidal LK方法）][HS_Lucas-Kanada_Pyramidal LK]**

# 1. 图像的产生 #

在讨论光流之前，首先需要了解什么是图像以及图像的产生过程。如下图所示，光信号经过眼睛的视觉细胞感知后,通过视觉神经和视神经中枢传递给大脑的相应分区，对其刺激形成视觉。可以说，图像是人类的视觉基础是自然景物的客观反映，是指客观事物经过光的反射和投射在大脑中形成的印象或认识。图像是图和像的完美结合，“图”反映了物体的客观存在“像”反映了人的视觉系统对图的印象或认识。图像是一种信息载体,是客观的一种表示方法，广义上图像分为模拟图像和数字图像，这里我们只讨论数字图像。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70][]

# 2. 光流的概念 #

光流可以被认为是在一幅图像中亮度模式的表面运动分布，有些学者也称之为图像流。它是图像中所有像素点的二维速度场，其中每个像素的二维运动向量可以理解为一个光流，所有的光流构成光流场。如下图所示，观测场景中可见点的三维速度在成像表面上的投影。**估计光流的目的是为图像帧中的每一个像素点赋予一个运动向量**。**对于整幅图像来讲,光流估计的过程就是建立一个包含所有运动向量的运动场**。光流的估计是处理图像序列研究领域中的一个基础课题，我们只讨论光流场中的每个运动向量的计算方法。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 1][]

只关注部分像素的运动向量时，我们称之为**稀疏光流**。当关注所有像素时我们称之为**稠密光流**。显然，稀疏光流和稠密光流的用途不同，如果用作估计相机运动，可能稀疏光流就够用了。如果分析场景中的目标运动信息，稠密光流将较大的优势。通常情况下，由于观察者(相机)和场景(对象)之间产生了相对运动，进而形成光流。二者之间的相对关系可以分为如下几个方面:

1.  场景在运动,相机是静止的
2.  相机在运动,场景是静止的;
3.  相机和场景二者都在运动

下边两幅图像是1和2的两种情况，3比较复杂，这里不举例子了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 3][]

此外，针对相机的变化也会导致光流的产生，主要表现在镜头拉近、镜头拉远、摄像机旋转、水平扫描或其中的几种，场景中存在运动物体时，显然会出现光流场中部分光流与周围的光流不一致的情况发生。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 4][]

# 3. 光流场和运动场之间的关系 #

实际上，场景中光流的观测是在三维空间上得到的，但光流却是在二维空间上表达。显然，光流场和运动场之间确实在某些时候存在很难理解的对应关系，这是因为空间在降低维度的时候丢失了许多必要的信息。运动场上，我们很容易理解目标的运动状态，但从光流场上，我们却非常难想象目标正处在何种运动。

对于一个简单物体的平移运动，显然运动场和光流场几乎是一样的，但是想象一个球形在光照下，即使球不动，光源的一点细微变化也会导致光流场发生变化，实际上运动场是不变的，因此在正常情况下，光流场与运动场变现一致，但在一些特殊的场合，光流场并不等于运动场。

# 4. 光流的使用领域与现状 #

**1）机器人视觉伺服**

机器人视觉伺服是一个非常热门的机器人视觉应用领域。如果我们划分机器人视觉伺服为3个主要分类:基于已经建好的地图的导航、基于实时建立地图的导航以及无地图自主导航。那么利用光流技术就属于无地图自主导航的分类。它不仅能够被用来估计搭载相机的运动参数，也能够被用来预测目标和观察者之间的相对运动。

**2）视频图像压缩**

随着多媒体技术的发展，我们越来越受益于高分辨率的视频图像，能从中得非常好的视觉体验。然而，随着视频图像分辨率的增大，其存储体积日益庞大，必须考虑的问题将是视频图像的传输速度和存储空间。通常的做法是，用光流估计视频帧之间的图像运动关系,给压缩算法提供压缩参数，以减少数据量，提高视频图像压缩率。

**3）冲突检测**

在实际的基于运动的应用中，两个目标的冲突时间和冲突位置的分析及预测通常是研究的热点课题。

**4）图像分割**

当摄像机存在运动时，对场景中运动物体的分割往往是视频分析领域里的一个典型难题。当摄像机拍摄角度、环境光照不均以及前景和背景颜色相近等情况发生时，均会对图像的分割带来极大的困难。通过对场景中的运动计算致密光流，可以容易地识别出运动大小或方向存在不同的区域，这些区域主往能够标注为特定的运动区域。利用这个性质可以分割出运动物体或前景。

参考书目：《视频图像光流场估计技术及应用》

[HS_Lucas-Kanada_Pyramidal LK]: https://blog.csdn.net/qq_41685265/article/details/109557420
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70]: /images/20221120/dd0cb2e8fd694821a6bd86b932b3fef8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201108100813876.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201108101356208.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201108101519449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201108095731510.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjg1MjY1,size_16,color_FFFFFF,t_70