assasin浅说自然语言之命名实体的提取

╰半橙微兮° 2023-06-27 06:21 37阅读 0赞

1. 词性对照表

a   形容词
    ad   副形词
    ag   形语素
    an   名形词
    b   区别词
    c   连词
    d   副词
    df   不要
    dg   副语素
    e   叹词
    f   方位词
    g   语素
    h   前接成分
    i   成语
    j   简称略语
    k   后接成分
    l   习用语
    m   数词
    mg   数语素
    mq   数量词
    n   名词
    ng   名语素
    nr   人名
    nrfg   人名
    nrt   外国人名
    ns   地名
    nt   机构团体
    nz   其他专名
    o   拟声词
    p   介词
    q   量词
    r   代词
    rg   代语素
    rr   代词
    rz   代词
    s   处所词
    t   时间词
    tg   时间语素
    u   助词
    ud   得
    ug   过
    uj   的
    ul   了
    uv   地
    uz   着
    v   动词
    vd   副动词
    vg   动语素
    vi   动词
    vn   名动词
    vq   动词
    x   非语素字
    y   语气词
    z   状态词
    zg   zg

2. 获取自定义命名实体

# -*- coding: utf-8 -*-
    #-----------------------------------------------------------------------------------------------------------------------
    __Author__ = 'assasin'
    __DateTime__ = '2020/1/4 18:47'
    #-----------------------------------------------------------------------------------------------------------------------
    
    '''
    命名实体的提取
    '''
    import jieba.posseg as ps
    from stop_words import *
    
    
    def extract_name(str_doc):
        feat_word = ""
        stwords = get_stop_words()
        user_pos_list = ['nr','ns','nt','nz']
        for word,pos in ps.cut(str_doc):
            if word not in stwords and pos in user_pos_list:
                if word + ' ' + pos + '\n' not in feat_word:
                    feat_word += word + ' ' + pos + '\n'
    
        return feat_word
    
    
    
    
    if __name__ == '__main__':
        path = r'./datas/体育/11.txt'
        str_doc = readFile(path)
        feat_word = extract_name(str_doc)
        print(feat_word)