图像分割（Segmentation）

妖狐艹你老母 2023-10-09 17:32 54阅读 0赞

#### 文章目录 ####

*  图像分割
 *  FCN
 *  U-Net
 *  SegNet
 *  DeepLab
 *  图像分割常用数据集

## 图像分割 ##

图像分割是预测图像中每一个像素所属的类别或者物体。基于深度学习的图像分割算法主要分为两类：

1.  语义分割（Semantic Segmentation）  
    为图像中的每个像素分配一个类别。  
    ![在这里插入图片描述][26567c91dc804fccb00e0f8415c9f0f6.png]
2.  实例分割（Instance Segmentation）  
    与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检测输出的是边界框和类别，而实例分割输出的是掩膜和类别。  
    ![在这里插入图片描述][6ba256a0376f4c5faa8888d96b8b6945.png]

## FCN ##

> 原文链接：Fully Convolutional Networks for Semantic Segmentation：[https://openaccess.thecvf.com/content\_cvpr\_2015/papers/Long\_Fully\_Convolutional\_Networks\_2015\_CVPR\_paper.pdf][https_openaccess.thecvf.com_content_cvpr_2015_papers_Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf]  
> ![在这里插入图片描述][370268c72f4847e4b82fac4aa513175b.png]

FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。FCN可以接受任意尺寸的输入图  
像，采用反卷积层对最后一个卷积层的f eat ure map进行上采样, 使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。  
![在这里插入图片描述][edbccb9700194f508feaf2a1d7f4c233.png]

## U-Net ##

> 原文链接：U-Net: Convolutional Networks for Biomedical Image Segmentation：[https://arxiv.org/pdf/1505.04597.pdf][https_arxiv.org_pdf_1505.04597.pdf]  
> ![在这里插入图片描述][8884bf65a1894183bcb6fb11b1c6cd2f.png]

1.  特征提取部分：它是一个收缩网络，通过四个下采样，使图片尺寸减小，在这不断下采样的过程中，特征提取到的是浅层信息。
2.  拼接
3.  上采样部分，也叫扩张网络，图片尺寸变大，提取的是深层信息，使用了四个上采样，在上采样的过程中，图片的通道数是减半的，与左部分的特征提取通道数的变化相反。  
    ![在这里插入图片描述][040e278f57ed489db1e33cb143e7f6ec.png]

## SegNet ##

> 原文链接：SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation：[https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7803544][https_ieeexplore.ieee.org_stamp_stamp.jsp_tp_arnumber_7803544]  
> ![在这里插入图片描述][b8ac3eec214146c2a2b5a13887295fb3.png]

SegNet架构包括编码器、解码器、编码-解码结构和反卷积-上采样-下采样结构。编码器使用VGG16的前13层卷积网络，每个编码器层都对应一个解码器层。在解码器处，执行上采样和卷积。最终解码器的输出被送入softmax分类器以独立的为每个像素产生类概率。

![在这里插入图片描述][5595c2c5162e426cb09cb75c7ac1d814.png]

## DeepLab ##

> 论文原文：SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS：[https://arxiv.org/pdf/1412.7062.pdf][https_arxiv.org_pdf_1412.7062.pdf]  
> ![在这里插入图片描述][fb878f8486cd4df6b52aaf2858fdb823.png]

DeepLab 是结合了深度卷积神经网络（DCNNs）和概率图模型的方法。针对信号下采样或池化降低分辨率，DeepLab 是采用的 atrous（带孔）算法扩展感受野，获取更多的上下文信息。

DeepLab 采用完全连接的条件随机场提高模型捕获细节的能力。  
![在这里插入图片描述][5873ec4434a04a40b7618b845c88d4aa.png]

## 图像分割常用数据集 ##

*  PASCAL VOC  
    VOC 数据集分为20类，包括背景为21类。  
    ![在这里插入图片描述][e247c359aea44c77b18091feaa46195a.png]
 *  MS COCO  
    MS COCO 是最大图像分割数据集，提供的类别有 80 类，有超过 33 万张图片，其中 20 万张有标注，整个数据集中个体的数目超过 150 万个。  
    ![在这里插入图片描述][a955fd18e9c84ef38572a0968773e6cf.png]
 *  Cityscapes  
    Cit yscapes 是驾驶领域进行效果和性能测试的图像分割数据集，它包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。  
    ![在这里插入图片描述][00b1ec47466a4d7bbaf8a8b9b60c5ced.png]

[26567c91dc804fccb00e0f8415c9f0f6.png]: https://img-blog.csdnimg.cn/26567c91dc804fccb00e0f8415c9f0f6.png
[6ba256a0376f4c5faa8888d96b8b6945.png]: https://img-blog.csdnimg.cn/6ba256a0376f4c5faa8888d96b8b6945.png
[https_openaccess.thecvf.com_content_cvpr_2015_papers_Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf]: https://openaccess.thecvf.com/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf
[370268c72f4847e4b82fac4aa513175b.png]: https://img-blog.csdnimg.cn/370268c72f4847e4b82fac4aa513175b.png
[edbccb9700194f508feaf2a1d7f4c233.png]: https://img-blog.csdnimg.cn/edbccb9700194f508feaf2a1d7f4c233.png
[https_arxiv.org_pdf_1505.04597.pdf]: https://arxiv.org/pdf/1505.04597.pdf
[8884bf65a1894183bcb6fb11b1c6cd2f.png]: https://img-blog.csdnimg.cn/8884bf65a1894183bcb6fb11b1c6cd2f.png
[040e278f57ed489db1e33cb143e7f6ec.png]: https://img-blog.csdnimg.cn/040e278f57ed489db1e33cb143e7f6ec.png
[https_ieeexplore.ieee.org_stamp_stamp.jsp_tp_arnumber_7803544]: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7803544
[b8ac3eec214146c2a2b5a13887295fb3.png]: https://img-blog.csdnimg.cn/b8ac3eec214146c2a2b5a13887295fb3.png
[5595c2c5162e426cb09cb75c7ac1d814.png]: https://img-blog.csdnimg.cn/5595c2c5162e426cb09cb75c7ac1d814.png
[https_arxiv.org_pdf_1412.7062.pdf]: https://arxiv.org/pdf/1412.7062.pdf
[fb878f8486cd4df6b52aaf2858fdb823.png]: https://img-blog.csdnimg.cn/fb878f8486cd4df6b52aaf2858fdb823.png
[5873ec4434a04a40b7618b845c88d4aa.png]: https://img-blog.csdnimg.cn/5873ec4434a04a40b7618b845c88d4aa.png
[e247c359aea44c77b18091feaa46195a.png]: https://img-blog.csdnimg.cn/e247c359aea44c77b18091feaa46195a.png
[a955fd18e9c84ef38572a0968773e6cf.png]: https://img-blog.csdnimg.cn/a955fd18e9c84ef38572a0968773e6cf.png
[00b1ec47466a4d7bbaf8a8b9b60c5ced.png]: https://img-blog.csdnimg.cn/00b1ec47466a4d7bbaf8a8b9b60c5ced.png