jieba分词，去除停用词并存入txt文本

- 日理万妓 2022-05-15 06:54 433阅读 0赞

代码如下，[停用词获取][Link 1]  
密码：zpso

# -*- coding: utf-8 -*-
    import jieba
    import jieba.analyse
    import jieba.posseg as pseg
    import re
    from pyltp import NamedEntityRecognizer
    
    # jieba.load_userdict('userdict.txt')
    # 创建停用词list
    def stopwordslist(filepath):
        stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
        return stopwords
    
    
    # 对句子进行分词
    def seg_sentence(sentence):
        sentence_seged = jieba.cut(sentence.strip())
        stopwords = stopwordslist('stopwords.txt')  # 这里加载停用词的路径
        outstr = ''
        for word in sentence_seged:
            if word not in stopwords:
                if word != '\t':
                    outstr += word
                    outstr += " "
        return outstr
    
    
    inputs = open('./origin data/yu.txt', 'r', encoding='utf-8')
    outputs = open('yuliao3.txt', 'w', encoding='utf-8')
    for line in inputs:
        line_seg = seg_sentence(line)  # 这里的返回值是字符串
        outputs.write(line_seg + '\n')
    outputs.close()
    inputs.close()

谢谢观看！！！

[Link 1]: https://pan.baidu.com/s/1a7pzQ7oPdkKuOYYWhcjB2g

发表评论取消回复

表情：

评论列表（有 0 条评论，433人围观）

还没有评论，来说两句吧...

相关阅读

相关 IK分词器扩展词停用词

IK Analyzer 扩展配置

叁歲伎倆/ 2024年05月05日 07:48/ 0 赞/ 203 阅读

相关 NLP-文本处理：词的过滤（Words Filtering）【停用词、低频词】

类似于特征筛选的过程，如果不过滤掉它们，很可能对我们的语言模型产生负面的影响。停用词，对于理解文章没有太大意义的词，比如"the"、“an”、“his”、“their

柔情只为你懂/ 2023年10月04日 09:32/ 0 赞/ 124 阅读

相关 Python 中文分词并去除停用词

import jieba 创建停用词list def stopwordslist(filepath): st

偏执的太偏执、/ 2023年08月17日 16:46/ 0 赞/ 202 阅读

相关 jieba以动词+其它词性分词并制作词云图

人类千百年来都是视觉动物从远古时代的壁画，到现在的表情包大数据时代的今天，文本和数据更需要颜值 jieba分词我在这里就不多介绍了，很多玩过python

男娘i/ 2022年12月04日 09:11/ 0 赞/ 200 阅读

相关 jieba分词

1分词 `jieba.cut` 方法接受三个输入参数: 需要分词的字符串；cut\_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

约定不等于承诺〃/ 2022年09月24日 08:27/ 0 赞/ 297 阅读

相关 jieba分词

jieba “结巴”中文分词：做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese te

墨蓝/ 2022年07月12日 11:14/ 0 赞/ 364 阅读

相关 jieba分词，去除停用词并存入txt文本

代码如下，[停用词获取][Link 1] 密码：zpso -- coding: utf-8 -- import jieba import jie

- 日理万妓/ 2022年05月15日 06:54/ 0 赞/ 434 阅读

相关 jieba分词

参考文章：[Github上的项目———jieba][Github_jieba] 中文分词对于NLP（自然语言处理）来说，分词是一步重要的工作，市面上也有各种分词库，[

冷不防/ 2022年05月15日 02:48/ 0 赞/ 393 阅读

相关如何在java中去除中文文本的停用词

1. 整体思路第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。第二步：使用停用词表，去除分好的词中的停用词。 2. 中文文

小鱼儿/ 2022年01月12日 23:13/ 0 赞/ 422 阅读

相关 jieba分词和去停用词

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

心已赠人/ 2021年09月22日 08:54/ 0 赞/ 626 阅读