sklearn计算多分类的TFIDF

傷城~ 2023-06-27 06:21 49阅读 0赞

# -*- coding: utf-8 -*-
    #-----------------------------------------------------------------------------------------------------------------------
    __Author__ = 'assasin'
    __DateTime__ = '2020/1/4 19:23'
    #-----------------------------------------------------------------------------------------------------------------------
    
    from stop_words import readFile,seg_doc
    # pip install sklearn
    from sklearn.feature_extraction.text import TfidfTransformer
    from sklearn.feature_extraction.text import CountVectorizer
    
    # 利用sklearn 计算tfidf值特征
    
    def sklearn_tfidf_feature(corpus=None):
        # 构建词汇表
        vectorize = CountVectorizer()
        # 该类会统计每一个词语的tfidf值
        transformer = TfidfTransformer()
        tfidf = transformer.fit_transform(vectorize.fit_transform(corpus))
        # print(tfidf)
        # 获取词袋模型中所有的词语
        words = vectorize.get_feature_names()
        # 将tf-idf矩阵抽取出来,元素a[i][j]表示此词在i类文本中的权重
        weight = tfidf.toarray()
        # print(weight)
        for i in range(len(weight)):
            print(u"-----这里输出第",i,u"类文本的词语tf-idf权重")
            for j in range(len(words)):
                print(words[j],weight[i][j])
    
    if __name__ == '__main__':
        corpus = []
        path = r'./datas/体育/11.txt'
        str_doc = readFile(path)
        word_list1 = ' '.join(seg_doc(str_doc))
        # print(word_list1)
    
        path = r'./datas/时政/339764.txt'
        str_doc = readFile(path)
        word_list2 = ' '.join(seg_doc(str_doc))
        # print(word_list2)
    
        corpus.append(word_list1)
        corpus.append(word_list2)
        # print(corpus)
        sklearn_tfidf_feature(corpus)

发表评论取消回复

表情：

评论列表（有 0 条评论，49人围观）

还没有评论，来说两句吧...

相关阅读

相关 sklearn计算多分类的TFIDF

-- coding: utf-8 -- -----------------------------------------------------------

傷城~/ 2023年06月27日 06:21/ 0 赞/ 50 阅读

相关利用sklearn对多分类的每个类别进行指标评价

今天晚上，笔者接到客户的一个需要，那就是：对多分类结果的每个类别进行指标评价，也就是需要输出每个类型的精确率（precision），召回率（recall）以及F1值（F1-

缺乏、安全感/ 2023年06月13日 06:29/ 0 赞/ 164 阅读

相关 TFIDF——python

提取关键词现在有一篇长文《中国的蜜蜂养殖》，用计算机提取它的关键词。 1、词频：如果某个词很重要，它应该在这篇文章中多次出现。我们进行"词频"（Term Freque

男娘i/ 2023年06月12日 12:28/ 0 赞/ 36 阅读

相关 TFIDF

[词权重计算及应用][Link 1] [文本向量表示及TFIDF词汇权值][TFIDF] [北邮人论坛上的两个停用词表]

末蓝、/ 2022年09月21日 11:39/ 0 赞/ 317 阅读

相关机器学习五(sklearn决策树——多分类)

1.前言 sklearn决策树分类，采用ID3算法，自带iris数据集(根据草的特征进行分类，有3类，用0、1、2标记)。 2.决策树绘制准备（1）下载安装gr

痛定思痛。/ 2022年05月21日 02:52/ 0 赞/ 477 阅读

相关多分类问题的交叉熵计算

多分类问题的交叉熵在多分类问题中，损失函数（loss function）为交叉熵（cross entropy）损失函数。对于样本点(x,y)来说，y是真实的标签，在

r囧r小猫/ 2022年05月18日 00:41/ 0 赞/ 278 阅读

相关 sklearn之三分类应用

用到的代码目录： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4u

偏执的太偏执、/ 2022年03月01日 00:20/ 0 赞/ 320 阅读

相关 sklearn多标签分类算法练习

1.例1 import numpy as np import pandas as pd import scipy from scipy.io

柔光的暖阳◎/ 2022年02月02日 19:27/ 0 赞/ 430 阅读

相关 sklearn 绘制多分类ROC曲线

from rasa_nlu.model import Interpreter from sklearn.metrics import precision_sco

妖狐艹你老母/ 2022年01月14日 12:03/ 0 赞/ 603 阅读

相关 python sklearn2pmml保存tfidf+kmeans模型

from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer, Tfidf

Dear 丶/ 2021年09月30日 02:28/ 0 赞/ 712 阅读