java分词, 统计词频

小灰灰 2023-06-13 11:28 55阅读 0赞

package cn.yys;
    
    import org.apache.hadoop.io.IntWritable;
    
    import java.lang.reflect.Type;
    import java.util.HashMap;
    import java.util.Map;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    
    public class 分词 { 
        public static void main(String[] args) { 
            String b = "1,a, 28\n" +
                    "2,b, 35\n" +
                    "3,c,28\n" +
                    "4,d,35\n" +
                    "5,e,28\n" +
                    "6,a,28\n" +
                    "7,b,35\n" +
                    "8,c,28\n" +
                    "9,a,28";
            b = b.replaceAll(" +","");
            String[] a = b.split("[\\t\\n\\r\\f\\s\\W]");
            System.out.println(a[2]);
            Map<String, Integer> wordCount = new HashMap();
            for(int i =0; i<a.length; i++){ 
                String name = a[i];
                if (wordCount.containsKey(name))
                    wordCount.put(name, wordCount.get(name) + 1);
                else
                    wordCount.put(name, 1);
            }
    
            for(Map.Entry<String, Integer> entry : wordCount.entrySet()) { 
                // 获取每个值
                String wordValue = entry.getKey();
    
                System.out.println(wordValue+" "+entry.getValue());
            }
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，55人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 189 阅读

相关 hadoop 词频统计

1)先写words文件 ![20180425155914434][]![Image 1][]![Image 1][] 2)再将words上传到hdfs中，可以直接运行

悠悠/ 2024年02月18日 19:51/ 0 赞/ 121 阅读

相关 java分词, 统计词频

package cn.yys; import org.apache.hadoop.io.IntWritable; import ja

小灰灰/ 2023年06月13日 11:28/ 0 赞/ 56 阅读

相关 python 词频统计，分词笔记

Python的中文分词库有很多，常见的有： [jieba][]（结巴分词） [THULAC][]（清华大学自然语言处理与社会人文计算实验室） [pkuseg

怼烎@/ 2022年10月13日 15:53/ 0 赞/ 401 阅读

相关如何使用Pig集成分词器来统计新闻词频？

散仙在上篇文章中，介绍过如何使用Pig来进行词频统计，整个流程呢，也是非常简单，只有短短5行代码搞定，这是由于Pig的内置函数TOKENIZE这个UDF封装了单词分割的核心流程

秒速五厘米/ 2022年08月06日 11:10/ 0 赞/ 217 阅读

相关自然语言分词处理，词频统计

目标：将一段文字做分词处理，并统计分词中出现频度最高的五组词。代码： ToAnalysis.java package com.test;

川长思鸟来/ 2022年06月10日 11:22/ 0 赞/ 352 阅读

相关如何使用Pig集成分词器来统计新闻词频？

\[img\]http://dl2.iteye.com/upload/attachment/0105/3491/7c7b3bef-0dda-3ac6-8cdb-1ecc1dd9

淡淡的烟草味﹌/ 2022年04月12日 06:58/ 0 赞/ 251 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 499 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 419 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 356 阅读