图像特征点—ORB特征点

Love The Way You Lie 2022-03-16 10:46 421阅读 0赞

# 图像特征点—ORB特征点 #

参考文章：[https://mp.weixin.qq.com/s/u5gSCwQ3XahF0fe19biAyQ][https_mp.weixin.qq.com_s_u5gSCwQ3XahF0fe19biAyQ]

ORB特征包括特征点和描述子。特征点用于筛选比较“特殊”的点，而描述子用来描述某个点周围的特征。接下来将分别介绍这两部分。

## 1.特征点检测 ##

图像的特征点可以简单的理解为图像中比较显著显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70]  
ORB特征点采用FAST（features from accelerated segment test）算法来检测特征点。FAST核心思想就是找出那些鹤立鸡群的点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就可以认为它是一个特征点。比如我们可以那一个点与它周围半径是3的圆上的所有像素点进行比较，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 1]  
有了计算的方案和策略，接下来我们来看计算的具体过程。 FAST具体计算过程：

1.  从图片中选取一个像素点P，下面我们将判断它是否是一个特征点。我们首先把它的密度（即灰度值）设为Ip。
2.  设定一个合适的阙值t ：当2个点的灰度值之差的绝对值大于t时，我们认为这2个点不相同。
3.  考虑该像素点周围的16个像素。（见上图）
4.  现在如果这16个点中有连续的n个点都和点不同，那么它就是一个角点。 这里n设定为12。
5.  我们现在提出一个高效的测试，来快速排除一大部分非特征点的点。该测试仅仅检查在位置1、9、5和13四个位置的像素。如果是一个角点，那么上述四个像素点中至少有3个应该和点相同。如果都不满足，那么不可能是一个角点。

通过上述过程，我们的图片像多了很多特征点，我们用红色标出。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 2]

## 2计算特征描述 ##

得到特征点后我们需要以某种方式 F 描述这些特征点的属性。这些属性的输出我们称之为该特征点的描述子。ORB采用BRIEF算法来计算一个特征点的描述子。BRIEF算法的核心思想是在关键点P的周围以一定模式选取N个点对，把这N个点对的比较结果组合起来作为描述子。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 3]

接下来看一下具体操作：

1.  以关键点P为圆心，以d为半径做圆O。
2.  在圆O内某一模式选取N个点对。这里为方便说明，N=4，实际应用中N可以取512.
3.  假设当前选取的4个点对如上图所示分别标记为：  
    ![在这里插入图片描述][20190227161525575.png_pic_center]
4.  定义操作T  
    ![在这里插入图片描述][20190227161539809.png_pic_center]
5.  分别对已选取的点对进行T操作，将得到的结果进行组合  
    ![在这里插入图片描述][20190227161557255.png_pic_center]

则最终的描述子为：1011

## 3 理想的特征点描述子应该具备的属性 ##

在现实生活中，我们从不同的距离，不同的方向、角度，不同的光照条件下观察一个物体时，物体的大小，形状，明暗都会有所不同。但我们的大脑依然可以判断它是同一件物体。理想的特征描述子应该具备这些性质。即，在大小、方向、明暗不同的图像中，同一特征点应具有足够相似的描述子，称之为描述子的**可复现性**。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center]  
当以某种理想的方式分别计算上图中红色点的描述子时，应该得出同样的结果。即描述子应该对光照（亮度）不敏感，具备尺度一致性（大小 ），旋转一致性（角度）等。

上面我们用BRIEF算法得到的描述子并不具备以上这些性质。因此我们得想办法改进我们的算法。ORB并没有解决尺度一致性问题，在OpenCV的ORB实现中采用了图像金字塔来改善这方面的性能。ORB主要解决BRIEF描述子不具备旋转不变性的问题。

回顾一下BRIEF描述子的计算过程：在当前关键点P周围以一定模式选取N个点对，组合这N个点对的T操作的结果就为最终的描述子。当我们选取点对的时候，是以当前关键点为原点，以水平方向为X轴，以垂直方向为Y轴建立坐标系。当图片发生旋转时，坐标系不变，同样的取点模式取出来的点却不一样，计算得到的描述子也不一样，这是不符合我们要求的。因此我们需要重新建立坐标系，使新的坐标系可以跟随图片的旋转而旋转。这样我们以相同的取点模式取出来的点将具有一致性。

打个比方，我有一个印章，上面刻着一些直线。用这个印章在一张图片上盖一个章子，图片上分处直线2头的点将被取出来。印章不变动的情况下，转动下图片，再盖一个章子，但这次取出来的点对就和之前的不一样。为了使2次取出来的点一样，我需要将章子也旋转同一个角度再盖章。（取点模式可以认为是章子上直线的分布情况）

ORB在计算BRIEF描述子时建立的坐标系是以关键点为圆心，以关键点和取点区域的形心的连线为X轴建立2维坐标系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 1]

在图1中，P为关键点。圆内为取点区域，每个小格子代表一个像素。现在我们把这块圆心区域看做一块木板，木板上每个点的质量等于其对应的像素值。根据积分学的知识我们可以求出这个密度不均匀木板的质心Q。计算公式如下。其中R为圆的半径。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 2]  
我们知道圆心是固定的而且随着物体的旋转而旋转。当我们以PQ作为坐标轴时（图2），在不同的旋转角度下，我们以同一取点模式取出来的点是一致的。这就解决了旋转一致性的问题。

ORB算法最大的特点就是计算速度快 。 这首先得益于使用FAST检测特征点，FAST的检测速度正如它的名字一样是出了名的快。再次是使用BRIEF算法计算描述子，该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。

例如特征点A、B的描述子如下。

A：10101011

B：10101010

我们设定一个阈值，比如80%。当A和B的描述子的相似度大于90%时，我们判断A,B是相同的特征点，即这2个点匹配成功。在这个例子中A,B只有最后一位不同，相似度为87.5%，大于80%。则A和B是匹配的。

我们将A和B进行异或操作就可以轻松计算出A和B的相似度。而异或操作可以借组硬件完成，具有很高的效率，加快了匹配的速度。

## 4 OpenCV 代码测试 ##

用一个简单的opencv程序对图像进行ORB特征提取。

#include <iostream>
    #include <opencv2/core/core.hpp>
    #include <opencv2/features2d/features2d.hpp>
    #include <opencv2/highgui/highgui.hpp>
    
    using namespace std;
    using namespace cv;
    
    int main() {
    
        //读取图像
        Mat img = imread("/home/Andy/my_workspace/Clion_code/ORB_Test/pig.jpg");
        //定义特征点向量和描述子
        vector<KeyPoint> keypoints_1;
        Mat               descriptor;
        //ORB特征提取器
        Ptr<ORB> orb = ORB::create();
        //检测特征点
        orb->detect(img,keypoints_1);
        //计算描述子
        orb->compute(img,keypoints_1,descriptor);
        //画出特征点
        Mat outimg;
        drawKeypoints(img,keypoints_1,outimg,Scalar::all(-1),DrawMatchesFlags::DEFAULT);
        imshow("ORB特征检测",outimg);
        
        cout<< "描述子维度："<<descriptor.size()<<endl;
        cout<<"特征点数："   <<keypoints_1.size()<<endl;
        Mat row_data = descriptor.rowRange(1,2).clone();
        cout<<"其中一个描述子："<<row_data<<endl;
    
        waitKey(0);
        return 0;
    }

运行结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][20190227162335914.png_pic_center]  
根据程序输出的结果可以看出，我们一共检测到了500个特征点。描述子中的每个元素为8bit，所以每个描述子共有256bit。

[https_mp.weixin.qq.com_s_u5gSCwQ3XahF0fe19biAyQ]: https://mp.weixin.qq.com/s/u5gSCwQ3XahF0fe19biAyQ
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70]: /images/20220316/82e97d787d594bd289c17c8f52b0ae16.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 1]: /images/20220316/a68c91bb06fa46c1935c5dd154d4cb6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 2]: /images/20220316/4516ba59201a4ad28702b9ecc99fd7f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70 3]: /images/20220316/d99887d60cf240759f2c4f5a858c5e37.png
[20190227161525575.png_pic_center]: /images/20220316/070c77ae79124377a7730705bd40927b.png
[20190227161539809.png_pic_center]: /images/20220316/fd7ce08ba33a443d92d58d30963a37be.png
[20190227161557255.png_pic_center]: /images/20220316/98787e06a26142699055fb7f0185c93a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center]: /images/20220316/261a2026c584404abcb85e1bd88e682a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220316/52aedacfed8248b189c304c2a609cd04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220316/8e750cb0545f402585c53989949a5588.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ3MDk3NjA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220316/18e554f0eced4f04b81b1b2000fcac5a.png
[20190227162335914.png_pic_center]: /images/20220316/d7d279ca0a9b486e9c89657ff61f56ac.png