NLTK避免缩略词导致分句错误

古城微笑少年丶 2022-09-01 09:15 209阅读 0赞

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations?  
][How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]

NLTK自带的`nltk.tokenize`库可以实现英文分句，但是当句子中存在缩写词时分句会错误：

from nltk.tokenize import sent_tokenize
    sens = sent_tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig.', '2 shows a U.S.A. map.Look!'] """

可以使用`nltk.tokenize.punkt`库自定义缩写词列表进行分句：

from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktParameters
    
    punkt_param = PunktParameters()
    abbreviation = ['fig', 'u.s.a']
    punkt_param.abbrev_types = set(abbreviation)
    tokenizer = PunktSentenceTokenizer(punkt_param)
    sens = tokenizer.tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig. 2 shows a U.S.A. map.Look!'] """

**注意：**

1.  自定义缩略词列表单词全部小写，结尾的句号要去掉
2.  句子结束标点后面要加一个空格，否则分句失败

[How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]: https://stackoverflow.com/questions/34805790/how-to-avoid-nltks-sentence-tokenizer-splitting-on-abbreviations

发表评论取消回复

表情：

评论列表（有 0 条评论，209人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python 千题 —— 基础篇】分句成词

题目描述题目描述在数据分析时，我们可能需要将一句话分割成一个个单词，从而分析句子所包含的内容。编写一个程序，输入一句话，然后以空格为分界符将句子分割成一个个单词

深藏阁楼爱情的钟/ 2024年03月27日 19:11/ 0 赞/ 140 阅读

相关如何使用 Python 从单词创建首字母缩略词

![如何使用 Python 从单词创建首字母缩略词][Python] 在编程和数据处理中，首字母缩略词是句子的缩写版本。Python 是一种有效的语言，用于构造首字母缩略词、

深藏阁楼爱情的钟/ 2024年03月23日 20:37/ 0 赞/ 110 阅读

相关正则表达式应用--获取毕业论文中所有的缩略词--python

关于正则表达式的总结：[正则表达式学习笔记--python处理][--python] -------------------- 毕业论文中有一页需要列出本文中所有的

「爱情、让人受尽委屈。」/ 2023年07月21日 06:17/ 0 赞/ 54 阅读

相关 C# 缩略词对照表

> 最近在阅读Essential C\，其中有诸多（新）术语，且易混淆，因此将其中的缩略词做以记录。 <table> <thead> <tr> <th al

左手的ㄟ右手/ 2023年06月08日 04:58/ 0 赞/ 75 阅读

相关 WebRTC 那些常用的缩略词以及部分知识杂谈

WebRTC 那些常用的缩略词以及部分知识杂谈一、缩略语 RTC Real-Time Communication SDP Session Description P

叁歲伎倆/ 2022年10月16日 00:56/ 0 赞/ 340 阅读

相关电商缩略词用语

ACU Average concurrent users 同时在线用户数 ARPU Average Revenue Per User 每用户平均收入 CPA

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 10:43/ 0 赞/ 187 阅读

相关 NLTK避免缩略词导致分句错误

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations? ][How to avoid

古城微笑少年丶/ 2022年09月01日 09:15/ 0 赞/ 210 阅读

相关 java script 显示缩略词

1. 循序渐进：从最核心的内容开始，逐步添加额外的内容 2. display inline 把所有的元素放在一行显示，横向显示（以内联元素的形式显示） bloc

蔚落/ 2022年08月21日 00:08/ 0 赞/ 217 阅读

相关 Python 自然语言处理（基于jieba分词和NLTK）

\----------欢迎加入学习交流QQ群：657341423 -------------------- 自然语言处理是人工智能的类别之一。自然语言处理主要有那些功能？我

曾经终败给现在/ 2022年05月25日 08:37/ 0 赞/ 363 阅读

相关 NLTK学习笔记(八):文法--词关系研究的工具

目录文法自定义文法文法用途开发文法分析文法的算法递归下降解析器

向右看齐/ 2022年05月16日 00:49/ 0 赞/ 253 阅读