深度学习之候选框的选取

比眉伴天荒 2023-07-04 06:09 217阅读 0赞

在目标检测、目标跟踪领域，提取region proposal都是最基本环节。本文概述了从 sliding window 到 selective search， 然后升级到 region proposal network的过程。 核心在于理解 selective search算法 和 region proposal network的设计思想。

## 1. 从sliding window 到 selective search 的候选区域提取 ##

*  **目标检测 vs. 目标识别**

![在这里插入图片描述][20200208174008753.png]  
目标识别算法是指在一张给定的图像中识别出给定的物体。他将整张图像作为输入，然后输出类别的标签并给出图像中出现物体的概率。如上图，直接输入`objection recognition`算法中，算法会反馈图像的类别`dog,` `confident score 0.9987.`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]  
目标检测任务不仅仅要返回图像中主要包含那些物体，而且还要返回该图像中包含了多少物体？ 他们在哪里（一般用`BoundingBox`进行标注）？  
目标识别算法是所有目标检测算法的核心。假设我们已经拥有了非常强大的目标识别算法，但是该算法也仅仅能够告诉我们目标(如狗)是什么， 却不能告诉我们目标在哪里？ 有多少个目标？

为了完成目标检测任务，我们需要选择一个更小的区域（`sub-regions，patches`）,然后利用目标识别算法去识别各个`patches`是否包含`high confident score`的`objections`。

因此，一个非常基础但很重要的环节在于：如何从一张图像中又快又好地提取出这样的`patches`?其实最直接的方法提取`region proposal`(候选区域)的方式就是采用滑窗方法。但是`sliding window`方法非常消耗时间，因此研究学者提出了基于`selective search`策略的区域候选算法。

`note1`：提取patches算法更学术一点叫做`region proposal algorithm`

`note2`：好，指的是patches中尽可能恰好包括`objects`

`note3`：快，指的是有效速度。因为不同目标之前存在位置和尺度差异，如果采用遍历法，明显就是不合理的。

*  **Sliding window 滑窗技术**

![在这里插入代码片!\[在这里插入图片描述\](https://img-blog.csdnimg.cn/20200208174231416.png)][https_img-blog.csdnimg.cn_20200208174231416.png]  
使用`sliding window`方法中，我们使用`window`对整幅图像进行遍历，然后利用目标识别算法所有的`patches`进行检查。这实际上就是一个穷举的过程。此外，在遍历搜索过程中，我们不仅仅要遍历单个尺度的`window`，还有对多尺度的`window`进行检测。 因此，`sliding window`策略是非常消耗时间的。还有就是，`sliding window`算法对固定比例patches提取非常适合，但是由于`projection`的时间原因，固定的比例是很难保证的。 如果要将不同比例考虑进去，`sliding window`的时间效益又将大打折扣。

*  **region proposal algorithm**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]  
    `sliding window` （受平移、尺度、比例影响）存在的根本问题就是漫无目的性的搜索， 恰恰`region proposal` `algorithm`就是为了解决这个问题。候选区域提取算法将图像作为输入，并输出边界框`BoundingBox`，该边界框对应于图像中最有可能是对象的所有`patches`。这些`BoundingBox`可能存在噪声、重叠，也可能偏离了目标，但是大多数候选区域应该与图像中的目标非常接近。这样，我们在后面直接对这些`BoundingBox`进行目标识别就好了。 在所有的`region proposal algorithms`中， `selective search based` 非常有代表性（快，有很高的召回率recall），进而提取`BoundingBox`。
 *  **selective search**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]  
    `图一 原始的输入图像` `图二 采用graph-based适当分割结果` `图三 采用graph-based过分割结果`  
    selective search最核心的点在于通过颜色、文理、形状或者大小等 将原始的输入图像划分成等级区域(实质就是分割，如上图所示)。但是直接分割的图片不能用来做物体检测，原因有二：

1 大多数物体包含俩种以上的颜色（尤其受到光照影响，一个物体可能包含更丰富的颜色信息）

2 如果物体之间有重叠，这种方法无法处理，比如杯子放在盘子上的情况

为了更好地解决上面的两个问题，自然而然的我们想到了使用更好的分割方法，但是这并不是我们的目标（图像分割本来就是一个非常大的领域）。 我们这里需要的是一个不错的分割结果就好，至少需要满足分割后的区域可以尽可能的覆盖原图像中的物体。所以，`selective search`中使用了\[1\]中的分割算法进行过分割（如上图所示）。`selective search`将过分割图像作为初始输入，并执行以下步骤：

**step 1**:根据论文\[1\]分割的图片画出多个框，把所有框放入列表`Region`中

**step 2**:根据相似程度（颜色，纹理，大小，形状等），计算`Region`中框之间的俩俩形似度，把相似度放入列表A中

**step 3**:从列表A中找出相似度最大的俩个框a,b并且合并

**Step 4**:把合并的框加入列表`Region`中，从A中删除和a，b相关的相似度，重复步骤2，直至清空A

最终只需要对`Region`中的框进行图片分类，就可以得到原图的检测结果。候选框从数十万降到几千（`R-CNN`中俩千左右）。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3][]`graph-base`过分割后形成`Hierarchy - bottom-up` 策略。它显示了等级分割过程的初始、中间和最后一步  
绿框：生成的真阳性边界框 `true positive BoundingBox` 蓝框：生成的假阳性边界框 false positive `BoundingBox`

*  **selective search 区域归并**

那么如何计算两个区域之间的相似性？ selective search运用了基于颜色、文理、形状、大小进行相似性度量。

**颜色相似性**：`A color histogram of 25 bins is calculated for each channel of the image and histograms for all channels are concatenated to obtain a color descriptor resulting into a 25×3 = 75-dimensional color descriptor.` 对于图像的每一个通道我们需要计算25bin的颜色直方图，然后每一个颜色通道的直方图拼接在一起，形成颜色描述子（75维）。

**纹理相似性**：对于图像的每个通道，利用高斯差分对8个方向进行计算提取纹理特征。对于每个颜色通道的每个方向，利用10-bin直方图进行表示，这样便形成了纹理描述子（10*8*3=240维）。

**尺寸相似性**：尺度相似性鼓励更小的区域早日合并。它确保在图像的所有部分形成所有尺度的候选区域。如果没有考虑这个相似度测度，那么一个区域会一个一个地吞噬所有较小的相邻区域，那么，多个比例的候选区域将只在特定的位置产生。

形状兼容性相似性：两个区域重合比例程度。

两个区域之间的最终相似度定义为上述4个相似点的线性组合。

`Python+OpenCV`的代码实现：[https://download.csdn.net/download/shenziheng1/10751868][https_download.csdn.net_download_shenziheng1_10751868]。示例结果如下：

![你是][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]  
`selective search`采用`graph-based`过分割生成的候选区域（`region proposal`）: 降低了时间消耗，提升了候选区域的质量  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]  
`selective search`采用`graph-based`过分割生成的候选区域（`region proposal`）: 降低了时间消耗，提升了候选区域的质量

[20200208174008753.png]: https://img-blog.csdnimg.cn/20200208174008753.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020020817405515.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[https_img-blog.csdnimg.cn_20200208174231416.png]: https://img-blog.csdnimg.cn/20200208175722923.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200208174536384.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200208174656693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200208175000483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[https_download.csdn.net_download_shenziheng1_10751868]: https://download.csdn.net/download/shenziheng1/10751868
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200208175238476.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200208175250304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70