浅谈 image caption 相关知识点及优秀链接

爱被打了一巴掌 2023-07-14 10:54 27阅读 0赞

##### 框架 #####

###### encoder-decoder ######

1.  中间向量 长度是固定的（缺陷）  
    ( 语义向量无法完全表示整个序列的信息，先输入的内容携带的信息会被后输入的信息稀释掉 )
2.  输入信息 太长，会丢失信息（缺陷）

###### Seq2Seq ######

1.  输入 输出 序列长度可变
2.   *  输入输出 固定长度，长度稍微变化，补零

###### encoder-decoder & Seq2Seq ######

1.  Seq2Seq 属于 Encoder-Decoder 的大范畴
2.  Seq2Seq 更强调目的，Encoder-Decoder 更强调方法

###### Attention ######

1.  解决 信息过长，信息丢失
2.  Encoder 不将 输入序列编码 为固定长度 的中间向量C，
3.  编码成向量序列

###### 生成顺序： ######

1.  解决输入输出是固定长度，长度有变化，补零： Seq2Seq
2.  解决中间向量固定：Attention

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70]

##### 优化 #####

1.  SGD（minibatch stochastic gradient descent）：负责采样
2.  Adadelta：负责优化下降方向

###### 改进 ######

1.  attention机制
2.  visual sentinel 哨兵机制
3.  CNN改进
4.  强化学习训练模型
5.  目标检测

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 1]

--------------------

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 2]  
图片出自：[Image2Caption][]

--------------------

##### 优秀论文解析链接 #####

Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning --------[文章 1（内含代码链接）][1] \------- [文章 2][2]

--------------------

##### 代码复现 - 单文 #####

[Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering][]  
[Show, Attend and Tell: Neural Image Caption Generation with Visual Attention][Show_ Attend and Tell_ Neural Image Caption Generation with Visual Attention]  
[Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. - 官方代码][Show_ Control and Tell_ A Framework for Generating Controllable and Grounded Captions. -]

##### 代码复现 - 合集 #####

[Image Captioning代码复现 - 小合集！][Image Captioning_ -]  
[CVPR2019-Code - github 代码合集 ！！！][CVPR2019-Code - github _]  
[图片综合性代码：实现图像处理、图像识别、图像分类等 - 合集][-]

##### 数据集 #####

[COCO2014数据集][COCO2014]

##### 代码基础 可执行（机器学习/深度学习） #####

[可执行机器学习 / 深度学习（tensorflow要求1.x版本，2版本会报错）][_ _tensorflow_1.x_2]

--------------------

##### 优秀链接 #####

[image caption generation系列博文整理][image caption generation]  
[图像描述（image caption）历年突破性论文总结 - 论文][image caption_ -]  
[cvpr 2019 image caption - 论文合集并分类！！！！][cvpr 2019 image caption -]

[R-CNN、Fast R-CNN、Faster R-CNN三者关系 - CSDN 文章][R-CNN_Fast R-CNN_Faster R-CNN_ - CSDN]  
CNN模型：LetNet，AlexNet，ZF，VGG，GoogleNet，Resnet，Inception，FPN，YOLOv3  
[LetNet-5, AlexNet, VGG-16, ResNet, Inception Network 模型形状 - CSDN 文章][LetNet-5_ AlexNet_ VGG-16_ ResNet_ Inception Network _ - CSDN]  
[LetNet-5、AlexNet、VGG-16、残差网络 粗略概述 - 文章][LetNet-5_AlexNet_VGG-16_ _ -]  
[GoogLeNet V1, V2 - CSDN 文章][GoogLeNet V1_ V2 - CSDN]  
[GoogLeNet（从Inception v1到v4的演进）- 文章][GoogLeNet_Inception v1_v4_-]  
[GoogLeNet - CSDN 文章][GoogLeNet - CSDN]  
[迁移学习与fine-tune（微调）- CSDN 文章 ][fine-tune_- CSDN _]  
CNN常用框架：Caffe，Torch，TensorFlow  
[各CNN 网络结构拆分块 讲解][CNN _]  
RNN变体：RNN，LSTM，GRU，attention

--------------------

##### 细节性比较 #####

softmax 和 SVM 区别（共同点：分类）  
softmax 和 logic 区别  
softmax 和 交叉熵 区别

--------------------

##### 检测相关： #####

rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，yolo9000

[rcnn里详细介绍 边框回归（Bounding-Box regression，bbox）- CSDN 文章][rcnn_ _Bounding-Box regression_bbox_- CSDN]  
[SS：Selective Search for Object Recognition 解读（选择性搜索）- 文章][SS_Selective Search for Object Recognition _-]  
RP：region proposal（建议区域）  
Ground Truth：正确的边框  
边框回归：平移xy，尺度缩放wh

--------------------

##### 基础知识点： #####

[端到端学习，非端到端学习 - CSDN 文章][- CSDN]  
[IoU，ROI，ROC，AUC - 文章][IoU_ROI_ROC_AUC -]  
IoU：交集/并集，ROI：感兴趣区域，ROC 和 AUC：分类准确率指标  
高层特征，低层特征  
融合：早融合，晚融合  
[深度特征融合—高低层特征融合][Link 1]  
SSD，FPN，高斯平滑，亚采样，bottom-up网络，词嵌入 embedding，  
深度：多尺度维度

[FPN 详述（内有Faster R-CNN用到FPN的架构图）- CSDN 文章][FPN _Faster R-CNN_FPN_- CSDN]  
FPN：特征金字塔。分割，在速度和准确率间权衡，获得更鲁棒的语义信息。  
[融合特征的SSD：小目标的快速检测][SSD]

浅层网络：更关注于细节信息，  
高层网络：更关注于语义信息，检测目标更准确。一般在最后一层feature map预测  
[下采样：缩小图片。上采样：放大图片][Link 2]

[图像检索研究进展：浅层、深层特征及特征融合][Link 3]  
（链接 里讲：图像检索是“BOW+检索过程”，分类问题是“BOW+分类器”。图像分类与检索本质上是相同的）  
[BOW 词袋算法（内含BOW 优秀链接）][BOW _BOW]

--------------------

image caption指标评价  
[BLEU、Meteor、ROUGE、CIDEr 和 SPICE][BLEU_Meteor_ROUGE_CIDEr _ SPICE]

--------------------

预训练模型：  
[https://github.com/tensorflow/models/tree/master/research/slim][https_github.com_tensorflow_models_tree_master_research_slim]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 3]

--------------------

1.  编码（识别图片） - 解码（语义，语法）
2.  目前：深度学习占主导

##### 一. 图像处理方法简介 #####

1.  早期：传统机器学习
2.  提取图像特征，SVM分类得到目标，生成句子（用目标和属性）
3.  算子：映射函数
4.  VGG（是CNN编码器（是图像特征编码器））。
5.  代表做：谷歌的Neural image caption 2014年

video caption

1.  提取特征：随时间发生变化
2.  3D特征提取方法：获取不同帧之间的关系（每一帧图像在channel维度合并起来，进行3D卷积）
3.  音频：谷歌提供音频特征数据集

##### 二. 文字生成方法 #####

1.  解码端：正确语法和语言
2.  三种方法：基于模版，检索 ，生成方法
3.  基于模版填充：模版留白，提取图片特征填白，即描述。用得少
4.  优：语义语法正确 缺：多样性差
5.  提取图像特征获取目标，动作，属性
6.  基于检索：大量图片描述存成集合，获取待选句集（比较相似性，待描述图片 & 训练集中图片描述）
7.  优点：句法正确 缺点：语义正确率低
8.  基于生成：输入编码（图像信息）- 送入语言模型 - 输出全新描述。使用较多
9.  优点：语法语义正确性，新图片泛化能力好

vedio caption

1.  早期：解码（基于句法结构），先预测主干关键词（实体动词），再补全句子
2.  基于 CNN 和 RNN 的 seq2Seq 生成方法，使用解码器（LSTM），得描述

##### 三. image caption代表性工作描述 #####

###### 1.encoder - decoder 框架 ######

1.  谷歌2014年提出 neural image caption generator
2.  以往（基于规则，分类获取特征），受机器翻译影响后改进
3.  改进：编码器（取图像特征（提取原语言特征RNN - 改为 - 基于CNN的inceptionNet ）） ， 解码器（RNN 或 LSTM 或 GRU）
4.  斯坦福大学：图像特征提取器 VGGnet

编码器改进：

1.  微软2015年，from captions to visual concepts and back
2.  多实例训练 词探测器：（图片产生多词语，输入语言模型，产生描述，再选择）。提取关键词法
3.  2018年，图像特征（目标检测框提取），输入属性检测器
4.  属性（高级语义特征，类似注意力效果）

解码器改进：

1.  2017年 skeleton-attribute decoder解码器（skel-LSTM：主干句（用CNN提取图像特征），Attr-LSTM：获取属性。二者结合成描述）
2.  类似neural baby talk，baby talk（基于模版和填白），词语（实体词（目标检测从图像），非实体词（句子模版+语言模型，神经网络））
3.  优点：解决缺乏多样性
4.  新：风格化描述，解码器分离（两个解码器：term generator，language generator）
    
    > term generator：CNN图像特征输入，GRU产生语义，词语-属性  
    > language. generator：语义输入，输出描述 。编码（双向GRU，能按序排列语义），解码（新GRU）
5.  新：stack caption，创新 解码器（一个粗粒度（输入图像特征），多个细粒度（输出描述）），迭代细粒度（上一结果+图像特征）+attention机制
6.  层级 或切分解码思路，提高描述效果 ，符合人类思维，可解释性强。层级结构成主力
7.  2018年在CVPR上 的 卷积神经网络解码器（解码器（Masked CNN代替传统RNN），编码器（输入 词语和图像特征），softmax（获得词概率））。优点：避免RNN的时序限制，训练速度快
8.  热点：**自动**探测描述图片，**未提及**的 目标
9.  2017年 复制机制，引入没有的实体（编码-解码 ，目标检测器），复制（计算LSTM的输出层，检测到的实体相似性）
10. 可以研究：知识图谱引入外部知识
11. 2018年 EMNLP ，entity-aware，类似 neural baby talk，encoder-decoder（实体空槽模版），上下文（训练标签相近的图），输入 知识图谱，填槽（图谱概率最高实体）
12. 多模型联合训练：新方向，（单张图片特征不能提高效果）
13. 2018年，Groupcap模型，编码多张图片，相似性和多样性。三部分组成：
    
    > 视觉语法分析树（图像特征建模到 树结点），  
    > 结构化相关性，多样性限制模块，（三元组图片，训练图片，positive，negative标签）  
    > caption generation环节

总结创新 ：

1.  编码端（目标检测引入，关键词提取引入）
2.  解码端（解码过程层次化，卷积网络解码，外部知识引入）

video caption  
无监督任务重建，联合训练（限定生成任务），公用 编解码端

###### 2. 注意力机制引入 ######

1.  2016年，show. attend and tell 提出。
2.  获得图像特征（卷积层），注意力加权（对图像特征），解码（RNN）
3.  两种attention机制：
    
    > 硬注意力机制：最大权重1，其他0  
    > 软注意力机制（常用）：每个区域（0，1）之间，总和1
4.  CVPR 2017年，knowing when to look，视觉岗哨（解决 空间注意力机制 获取特征 灵活性差 ）。岗哨向量（解码器记忆 已获知识），岗哨门控（门控机制）
5.  2018年，bottom-up and top-down attention，创新：目标检测（faster R-CNN）达到效果（bottom-up attention）。解码器（注意力LSTM层），实时注意力调整。
6.  优点： 关注更明显目标，描述更有主次感
7.  2016年，语言特征注意力。研究语义概念，抽取频率较高词语
8.  近期热点：语义视觉 结合的注意力
9.  merging attention结合visual attention，semantic attention。名词做候选主题。
10. 潜力研究方向 ：attention机制

###### 3. 生成对抗方式 GAN ######

1.  传统encoder-decoder：交叉熵为损失函数，缺点：生成宽泛描述。解决：GAN
2.  GAN：非零和博弈，生成器（最大化拟合概率分布，虚假样本以假乱真），鉴别器（分类真实，虚假数据）。
3.  2017年 GAN

###### 4. 强化学习方法 ######

1.  最大化奖励，避免损失函数，评估方法不一致。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70]: /images/20230529/e1030d7358154490b70a930489218d30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 1]: /images/20230529/2a376d65b2ba4c9095e4f5883ee5e7c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 2]: /images/20230529/29bc4d96c7cd491d9b3058e7aacf7b03.png
[Image2Caption]: https://www.cnblogs.com/punkcure/p/7905205.html
[1]: https://blog.csdn.net/sinat_26253653/article/details/79416234
[2]: https://blog.csdn.net/lhanchao/article/details/82889400
[Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering]: https://blog.csdn.net/u012991166/article/details/80659909
[Show_ Attend and Tell_ Neural Image Caption Generation with Visual Attention]: https://blog.csdn.net/qq_36735489/article/details/81096856?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
[Show_ Control and Tell_ A Framework for Generating Controllable and Grounded Captions. -]: https://github.com/aimagelab/show-control-and-tell
[Image Captioning_ -]: https://www.cnblogs.com/czhwust/p/img2capcode.html
[CVPR2019-Code - github _]: https://github.com/amusi/CVPR2019-Code
[-]: https://github.com/eastmountyxz/ImageProcessing-Python
[COCO2014]: http://www.functionweb.tk/?/coco2014/
[_ _tensorflow_1.x_2]: https://github.com/ageron/handson-ml
[image caption generation]: https://blog.csdn.net/m0_37052320/article/details/79699764?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
[image caption_ -]: https://blog.csdn.net/sinat_35177634/article/details/88102512?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
[cvpr 2019 image caption -]: https://blog.csdn.net/m0_37052320/article/details/94326599
[R-CNN_Fast R-CNN_Faster R-CNN_ - CSDN]: https://blog.csdn.net/qq_17448289/article/details/52871461
[LetNet-5_ AlexNet_ VGG-16_ ResNet_ Inception Network _ - CSDN]: https://blog.csdn.net/zhq9695/article/details/85039862
[LetNet-5_AlexNet_VGG-16_ _ -]: https://cloud.tencent.com/developer/news/134921
[GoogLeNet V1_ V2 - CSDN]: https://blog.csdn.net/shuzfan/article/details/50738394?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158436750219725256705522%2522%252C%2522scm%2522%253A%252220140713.130056874..%2522%257D&request_id=158436750219725256705522&biz_id=0&utm_source=distribute.pc_search_result.none-task
[GoogLeNet_Inception v1_v4_-]: https://my.oschina.net/u/876354/blog/1637819
[GoogLeNet - CSDN]: https://blog.csdn.net/sunlianglong/article/details/79956734?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
[fine-tune_- CSDN _]: https://blog.csdn.net/weixin_37203756/article/details/80180663
[CNN _]: https://www.jianshu.com/p/aa04f4404f5d
[rcnn_ _Bounding-Box regression_bbox_- CSDN]: https://blog.csdn.net/zijin0802034/article/details/77685438/
[SS_Selective Search for Object Recognition _-]: https://blog.csdn.net/mao_kun/article/details/50576003
[- CSDN]: https://blog.csdn.net/cs24k1993/article/details/79118460
[IoU_ROI_ROC_AUC -]: http://nooverfit.com/wp/%E5%81%9A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%EF%BC%8C%E5%86%8D%E5%88%AB%E6%8A%8Aiou%EF%BC%8Croi-%E5%92%8C-roc%EF%BC%8Cauc-%E6%90%9E%E6%B7%B7%E4%BA%86-%EF%BC%81%E8%81%8A%E8%81%8A%E7%9B%AE%E6%A0%87/
[Link 1]: https://blog.csdn.net/weixin_41817576/article/details/94196514
[FPN _Faster R-CNN_FPN_- CSDN]: https://blog.csdn.net/WZZ18191171661/article/details/79494534
[SSD]: https://blog.csdn.net/wangxujin666/article/details/83065261
[Link 2]: https://blog.csdn.net/stf1065716904/article/details/78450997
[Link 3]: https://blog.csdn.net/TTdreamloong/article/details/79798817
[BOW _BOW]: https://www.jianshu.com/p/7aceda6a0487
[BLEU_Meteor_ROUGE_CIDEr _ SPICE]: https://www.jianshu.com/p/60deff0f64e1
[https_github.com_tensorflow_models_tree_master_research_slim]: https://github.com/tensorflow/models/tree/master/research/slim
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xlZV9fNw_size_16_color_FFFFFF_t_70 3]: /images/20230529/28751852c09a4ddf9762234b99f710a7.png