论文《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions》

た入场券 2023-02-18 05:24 57阅读 0赞

论文地址：[Fast and Accurate Entity Recognition with Iterated Dilated Convolutions][]

对于序列标注问题，普通的CNN有一个劣势：卷积之后，末层神经元可能只是得到了原始输入数据中一小块的信息。而对于命名实体识别，整个句子的每个字对当前需要标注的字产生影响。为了覆盖更多的信息，加入更多的卷积层，这样会导致层数越来越深，参数越来越多，为防止过拟合要加入更多的Dropout之类的正则化，带来更多的超参数，整个模型变得庞大和难以训练。

BiLSTM之类的网络结构，能够尽可能的记住全局的信息来对单个字做标注。但问题是，并行计算能力不如CNN强大。

该论文提出了一个dilated CNN的模型。  
想法其实很简单：正常CNN的filter，都是作用在输入矩阵一片连续的位置上，不断sliding做卷积。dilated CNN为这片filter增加了一个dilation width，作用在输入矩阵的时候，会skip掉所有dilation width中间的输入数据；而filter矩阵本身的大小仍然不变，这样filter获取到了更广阔的输入矩阵上的数据，看上去就像是“膨胀”了一般。

具体使用时，dilated width会随着层数的增加而指数增加。这样随着层数的增加，参数数量是线性增加的，而receptive field却是指数增加的，可以很快覆盖到全部的输入数据。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70]

对应在文本上，输入是一个一维的向量，每个元素是一个character embedding：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70 1]

模型是4个大的相同结构的Dilated CNN block拼在一起，每个block里面是dilation width为1, 1, 2的三层Dilated卷积层，所以叫做 Iterated Dilated CNN。

IDCNN对输入句子的每一个字生成一个logits，这里就和biLSTM模型输出logits之后完全一样，放入CRF Layer，用Viterbi算法解码出标注结果。

在biLSTM或者IDCNN这样的深度网络模型后面接上CRF层是一个序列标注很常见的方法。biLSTM或者IDCNN计算出的是每个词分类的概率，而CRF层引入序列的转移概率，最终计算出loss反馈回网络。

缺点：1)会丢失局部信息; 2)虽说可以看得比较远，但是有时候远距离的信息并没有相关性。

应用场景：1)需要全局信息的图像任务; 2)需要解决长距离信息依赖的语音与文本任务。

[Fast and Accurate Entity Recognition with Iterated Dilated Convolutions]: https://arxiv.org/abs/1702.02098
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200616101439156.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200616101617261.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1hCX3BsZWFzZQ==,size_16,color_FFFFFF,t_70