NLP-信息抽取-关系抽取-2015：CRCNN、PCNN实体关系分类器【基于卷积神经网络排序进行关系识别、PCNN实现远程监督在关系提取中的应用】【数据集：SemEval-2010 Task 8】

旧城等待， 2023-10-02 09:06 13阅读 0赞

[《原始论文：Classifying Relations by Ranking with Convolutional Neural Networks》][Classifying Relations by Ranking with Convolutional Neural Networks]  
[《原始论文：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks》][Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

## 一、概述 ##

### 1、分类损失函数 ###

*  Softmax  
    ![在这里插入图片描述][0ab8122063344073b130ce8ce4b78ea5.png_pic_center]
 *  weighted softmax loss  
    ![在这里插入图片描述][90e6fed9b7c84f958077e0374c0964a1.png_pic_center]
 *  soft softmax loss  
    ![在这里插入图片描述][0f90351aa0da4595a75c575c514556fc.png_pic_center]
 *  L-Softmax loss  
    ![在这里插入图片描述][106e3c8698d74452a1bcc763414e3e73.png_pic_center]
 *  L2-constrained softmax loss  
    ![在这里插入图片描述][47296ce3f1d449ffa4a99f88eddec806.png_pic_center]
 *  Contrastive Loss  
    ![在这里插入图片描述][36991e284cf3497d98f837012fcbe62a.png_pic_center]

### 2、问题的提出 ###

CNN关系识别模型中是否存在一种更好的衡量损失函数？

远程监督学习中生成数据如何减轻噪音的影响?

CNN关系识别是否有更好的捕捉特征的结构?

### 3、研究成果 ###

CRCNN通过改造损失函数,去除wordnet等复杂原始特征,SemEval-2010 Task 8 数据集做实验，达到较好的效果。

PCNN 通过多示例学习及将特征分片式提取在NYT数据集上获得较好的效果

### 4、历史意义 ###

CRCNN通过rankloss将对CNN模型改造并通过数据验证其效果的可行性

PCNN是远程监督学习中运用神经网络的较早的实践,并提供了一个较好的baseline

### 5、CRCNN摘要核心 ###

CRCNN比CNN+softmax更有效

通过移除了人造类别other提高了准召

使用简单特征达到the state-of-the-art的效果

### 6、PCNN摘要核心 ###

提出多示例学习缓解远程监督学习数据噪声

提出一种新的网络结构PCNN

## 二、CRCNN模型 ##

### 1、CRCNN模型结构 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]  
![在这里插入图片描述][7189bb2f79974a8f830730801b4ec6a6.png_pic_center]

网络结构：

1.  位置特征
2.  词特征
3.  卷积+最大池化
4.  Rankloss最大化正负样本边界
5.  对于other类特殊处理:loss 设置为0

### 2、CRCNN实验 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 5]![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 6]

## 三、PCNN模型 ##

### 1、PCNN网络结构 ###

网络结构：

*  词向量
 *  位置向量
 *  卷积
 *  分片池化
 *  dropout

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 7]

### 2、Piecewise Max Pooling ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 8]

### 3、多示例学习 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 9]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 10]

### 4、PCNN实验 ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 11]  
与其他方法相比, Piecewise Max Pooling +Multi-instance Learning可以得到更好的结果  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 12]

## 四、论文总结 ##

### 1、关键点 ###

CRCNN提出了新的损失函数

PCNN将多示例学习引入远程监督学习中

PCNN提出了新的模型结构

### 2、创新点 ###

CRCNN验证了rankloss在关系识别问题上的有效性

PCNN模型结构成为远程监督学习的baseline

PCNN将多示例学习和关系识别联系在一起并验证其作用

### 3、启发点 ###

更有效的网络结构与更符合任务的损失函数往往来自于对于baseline缺陷的理解和改进

多示例学习对于噪音数据的有效性

优化模型的方向:1.特征,2. 评估损失,3.网络结构,4.对于任务的定义与理解

[Classifying Relations by Ranking with Convolutional Neural Networks]: https://ui.adsabs.harvard.edu/abs/2015arXiv150406580N
[Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks]: https://aclanthology.org/D15-1203.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/88aa49241e6e454783f7b670c45a107c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: https://img-blog.csdnimg.cn/65ef73a8e3864165bfb100b0df9a9659.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[0ab8122063344073b130ce8ce4b78ea5.png_pic_center]: https://img-blog.csdnimg.cn/0ab8122063344073b130ce8ce4b78ea5.png#pic_center
[90e6fed9b7c84f958077e0374c0964a1.png_pic_center]: https://img-blog.csdnimg.cn/90e6fed9b7c84f958077e0374c0964a1.png#pic_center
[0f90351aa0da4595a75c575c514556fc.png_pic_center]: https://img-blog.csdnimg.cn/0f90351aa0da4595a75c575c514556fc.png#pic_center
[106e3c8698d74452a1bcc763414e3e73.png_pic_center]: https://img-blog.csdnimg.cn/106e3c8698d74452a1bcc763414e3e73.png#pic_center
[47296ce3f1d449ffa4a99f88eddec806.png_pic_center]: https://img-blog.csdnimg.cn/47296ce3f1d449ffa4a99f88eddec806.png#pic_center
[36991e284cf3497d98f837012fcbe62a.png_pic_center]: https://img-blog.csdnimg.cn/36991e284cf3497d98f837012fcbe62a.png#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: https://img-blog.csdnimg.cn/90876c5dafa6447fa275b7ca1f2064b3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[7189bb2f79974a8f830730801b4ec6a6.png_pic_center]: https://img-blog.csdnimg.cn/7189bb2f79974a8f830730801b4ec6a6.png#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]: https://img-blog.csdnimg.cn/f189270cd511429081af683ea8d86be9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]: https://img-blog.csdnimg.cn/1e061dd7f8084dd4bf31194474bbfdf0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 5]: https://img-blog.csdnimg.cn/7800e9cf1f434024a8745d3f89b56049.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 6]: https://img-blog.csdnimg.cn/26b7d1d98b1841379b8e272a78b594fb.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 7]: https://img-blog.csdnimg.cn/a53b3d7ffe7e4d05885a8454780df1e0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 8]: https://img-blog.csdnimg.cn/91efe44e2f8d401f803ce26bc47a7803.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 9]: https://img-blog.csdnimg.cn/503162c6e6f64cd383f50e2f131edceb.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 10]: https://img-blog.csdnimg.cn/bca699394fd8492b87014761f7fad502.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 11]: https://img-blog.csdnimg.cn/2810572b9bcd4c0dac1766ece200d3a8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 12]: https://img-blog.csdnimg.cn/c1047cd7d8c64271830f1ca4fe9e41a0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center