spacy中文句法分析详解

桃扇骨 2023-10-05 13:59 150阅读 0赞

最近在做中文命名实体识别的研究，因此打算使用spacy来获取句法分析的结构信息，接下里大致说下spacy中所涉及到的一些方法和功能，目前仅仅介绍我使用到的，有不完善的地方请大家谅解。

一、首先是安装spacy的`zh_core_web_trf`或者`zh_core_web_md`,我这里使用的是zh\_core\_web\_trf,具体的安装方法如下：  
首先先确认你没有安装spacy，因为中文版本冲突问题，需要直接进行zh\_core\_web\_trf的安装，它会将用到的依赖包一块安装上，包括spacy。（可能你们也有别的安装方法，可以解决冲突）  
1>先去这个地址[下载地址][Link 1]下载安装包，我这里选择的是transformer版本的中文包。

2> cd到下载目录，使用pip命令进行安装。

pip install zh_core_web_trf-3.0.0a0.tar.gz

二、使用方法介绍

import spacy
    
    parser = spacy.load('zh_core_web_trf')
    
    doc = parser('小明在上海虹口足球场观看足球比赛。')
    for token in doc[:17]:
        print("{0}\t{1}\t{2}\t{3}\t{4}\t{5}\t{6}\t{7}\t{8}\t{9}\t{10}\t{11}\n".format(
            token.text,   # 文本
            token.idx,  # 索引值（即在原文中的定位）
            token.lemma_,  # 词元(lemma)
            token.head,   # 当前Token的Parent Token，从语法关系上来看，每一个Token都只有一个Head。
            token.dep_, # 依存关系
            token.children, # 语法上的直接子节点
            token.ancestors, # 语法上的父节点
            token.is_punct, # 是否为标点符号
            token.is_space,  # 是否为空格
            token.shape_,  # 字个数用x表示，如：两个字就是xx
            token.pos_,  # 词性
            token.tag_  # 标记
        ))

结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwNjUzNjMx_size_16_color_FFFFFF_t_70_pic_center]  
综上，是我用到的一些，如果有其他需求的可以查找官方文档进行了解。

[Link 1]: https://nightly.spacy.io/models/zh#zh_core_web_trf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwNjUzNjMx_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201119142231998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwNjUzNjMx,size_16,color_FFFFFF,t_70#pic_center