NLP-信息抽取-三元组-联合抽取-多任务学习-2019：spERT【采用分类的思想实现联合抽取，实体抽取和关系抽取模型均为分类模型】

素颜马尾好姑娘i 2023-09-25 13:54 42阅读 0赞

论文题目：Span-based Joint Entity and Relation Extraction with Transformer Pre-trainin

论文链接：https://arxiv.org/abs/1909.07755

论文代码：https://github.com/markus-eberts/spert

SpERT模型是联合式抽取模型，同时抽取实体和关系。SpERT模型采用分类的思想实现联合抽取，实体抽取和关系抽取模型均为分类模型。

SpERT模型是Span-based Joint Entity and Relation Extraction with [Transformer][] Pre-training(2020)提出的，[代码地址][Link 1]，SpERT模型：

1.  实体抽取和关系抽取均采用分类的思想
2.  采用穷近的思想预测给定文本中所有可能的文本片段所属的[实体类][Link 2]型
3.  关系抽取依赖于出抽取出的实体，预测抽取实体的所有组合的关系类型
4.  进行关系抽取会可考虑实体间的文本特征信息

## 模型结构 ##

SpERT的模型采用bert 作为embedding，预测实体类型，选取实体类型为非None的实体进行关系分类，结构如下图：

![spert模型][spert]

1.  实体分类，这里对实体进行分类，是一个softmax，但是考虑了实体的头尾，实体分类模型得到的是实体的类别和实体span，也就是文本中的那些字段是实体，模型的输入文本tokenizer， 实体span，实体mask，实体size等
2.  对实体进行过滤span filter，对实体模型的结果进行过滤，保留有实体，根据保留的实体构建关系负样本，
3.  关系分类，输入是实体，实体间连续文本特征max-pooling，实体宽度矩阵，经过一个线性层，得到关系分类的结果

注意：实体分类采用的是softmax，关系分类采用的是sigmoid

[Spert 联合抽取模型（上） - 知乎][Spert _ -]

[关系抽取模型----SpERT模型\_xuanningmeng的博客-CSDN博客\_关系抽取模型][----SpERT_xuanningmeng_-CSDN]

[SPERT：一种从文本中抽取关系方法 - 腾讯云开发者社区-腾讯云][SPERT_ - _-]

[Transformer]: https://so.csdn.net/so/search?q=Transformer&spm=1001.2101.3001.7020
[Link 1]: https://github.com/lavis-nlp/spert
[Link 2]: https://so.csdn.net/so/search?q=%E5%AE%9E%E4%BD%93%E7%B1%BB&spm=1001.2101.3001.7020
[spert]: https://img-blog.csdnimg.cn/dbf901ed6fee4ab4be0fe8dda4a5f148.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjIyMzIwNw==,size_16,color_FFFFFF,t_70#pic_center
[Spert _ -]: https://zhuanlan.zhihu.com/p/344918471
[----SpERT_xuanningmeng_-CSDN]: https://blog.csdn.net/weixin_42223207/article/details/119714087
[SPERT_ - _-]: https://cloud.tencent.com/developer/article/1851978