NLP标签/关键词-提取工具-java开发

淩亂°似流年 2023-10-05 12:52 10阅读 0赞

# 一、简介 #

旨在帮助用户自动挖掘文本标签，是特征关键词提取工具，工具中集成了TextRank、TF-IDF算法、词跨度（SPAN）算法和LDA主题模型算法。

使用方法：

# 二、使用方法 #

## 2.1.TextRank ##

### 2.1.1.理论 ###

参考：[https://blog.csdn.net/u012998680/article/details/107713952][https_blog.csdn.net_u012998680_article_details_107713952]

### 2.1.2.调用方法 ###

public static void main(String[] args) {
        String field = "6个小动作 让你秒秒都能瘦   　　这是一套小动作组成的瘦身操。看过之后你会觉得，原来真的可以无处不在，生活中的任何一个细节，都可以抓紧机会锻炼和减肥的，真是太简单了。     　　1、 门框斜压收内侧赘肉方法：身体离门框约1步距离，手摸门框下压，左右各3秒钟。    　　效果：平日运动不到的身体内侧可以得到很好的拉伸。    　　2、刷杯子瘦手臂 方法：手臂尽量抬高，做刷杯子的动作，换手再做10分钟。    　　效果：收紧手臂，紧致乳房。    　　3、 反手拿重物提臀瘦手臂方法：双手在身体后面做提拉重物动作。    　　效果：一周臀线上升2，手臂纤细2。    　　4、 读书收腹减腿法方法：坐在椅子上读书的时候双膝之间夹毛巾，保持毛巾不掉下来即可。    　　效果：收紧肚子、大腿赘肉。    　　5、开门瘦四肢方法：。双手交换做开拉门的动作;。双脚交换做开拉门的动作。    　　效果：拉伸四肢赘肉，雕塑四肢线条。        //        　　6、金鸡独立穿鞋瘦腰 动作：单脚站立做穿鞋的动作。    　　效果：伸拉腰部赘肉，直接瘦腰。    （实习编辑：李紫嫣）   ";
        List<String> keywords = Demo.textRank(field,10);
        System.out.println("关键词：" + keywords);
    }

### 2.1.3.结果 ###

> 效果, 动作, 方法, 赘肉, 门框, 手臂, 身体, 小动作, 四肢, 瘦腰

## 2.2.tf-idf算法 ##

### 2.2.1.理论： ###

参考：[https://blog.csdn.net/u012998680/article/details/107713952][https_blog.csdn.net_u012998680_article_details_107713952]

### 2.2.2.训练模型 ###

@Test
    public void IDFModelFit() throws Exception {
         IDFModelOption option = new IDFModelOption()
    			.setMinFrequencey(2)
    			.setDir("data/")
    			.setModelDir("model/IDF/");
         IDFModel model = new IDFModel(option);
         model.fit();
    }

### 2.2.3.调用方法 ###

@Test
    public void ldaTest() throws Exception {
          Option option = new Option()
    		.setMetric(Metric.AVERAGE)
    		.setStrategies(StrategyMetrics.IDF)
    		.setModelOptions(new IDFModelOption())
    		.setFilter(MyStopRecognition.getInstance()); 
          LabelHelper helper = new LabelHelper(option).build();
          String str = "6个小动作 让你秒秒都能瘦   　　这是一套小动作组成的瘦身操。看过之后你会觉得，原来真的可以无处不在，生活中的任何一个细节，都可以抓紧机会锻炼和减肥的，真是太简单了。     　　1、 门框斜压收内侧赘肉方法：身体离门框约1步距离，手摸门框下压，左右各3秒钟。    　　效果：平日运动不到的身体内侧可以得到很好的拉伸。    　　2、刷杯子瘦手臂 方法：手臂尽量抬高，做刷杯子的动作，换手再做10分钟。    　　效果：收紧手臂，紧致乳房。    　　3、 反手拿重物提臀瘦手臂方法：双手在身体后面做提拉重物动作。    　　效果：一周臀线上升2，手臂纤细2。    　　4、 读书收腹减腿法方法：坐在椅子上读书的时候双膝之间夹毛巾，保持毛巾不掉下来即可。    　　效果：收紧肚子、大腿赘肉。    　　5、开门瘦四肢方法：。双手交换做开拉门的动作;。双脚交换做开拉门的动作。    　　效果：拉伸四肢赘肉，雕塑四肢线条。        //        　　6、金鸡独立穿鞋瘦腰 动作：单脚站立做穿鞋的动作。    　　效果：伸拉腰部赘肉，直接瘦腰。    （实习编辑：李紫嫣）   ";
          List<KeywordLabel> labels = helper.predict(str, 10);
          for (KeywordLabel keywordLabel : labels) {
    	System.out.println(keywordLabel);
          }
    }

### 2.2.4.结果 ###

> 门框=3.664074638671668
> 
> 拉门=3.6097760747158785
> 
> 穿鞋=3.040698275381654
> 
> 小动作=2.5687126373035953
> 
> 四肢=2.5614579554770067
> 
> 斜压=2.553252568940863
> 
> 赘肉=2.5139555911034943
> 
> 重物=2.3745791096209836
> 
> 杯子=2.3572229308186
> 
> 读书=2.2068687144082118
> 
> 手摸=2.1985823826579303

## 2.3.词跨度算法 ##

### 2.3.1.理论： ###

词跨度是指一个词或者短语字文中首次出现和末次出现之间的距离，词跨度越大说明这个词对文本越重要，可以反映文本的主题。一个词的跨度计算公式如下：

![b002ac107cfaaf9d0e48adb156ea95c4.png][]

其中，lasti表示词i在文本中最后出现的位置， firsti表示词 i 在文本中第一次出现的位置，sum表示文本中词的总数。

词跨度被作为提取关键词的方法是因为在现实中，文本中总是有很多噪声（指不是关键词的那些词），使用词跨度可以减少这些噪声。

### 2.3.2.调用方法 ###

@Test
    public void ldaTest() throws Exception {
          Option option = new Option()
    		.setMetric(Metric.AVERAGE)
    		.setStrategies(StrategyMetrics.SPAN)
    		.setModelOptions(new WordSpanModelOption())
    		.setFilter(MyStopRecognition.getInstance());
          LabelHelper helper = new LabelHelper(option).build();
          String str = "6个小动作 让你秒秒都能瘦	　　这是一套小动作组成的瘦身操。看过之后你会觉得，原来真的可以无处不在，生活中的任何一个细节，都可以抓紧机会锻炼和减肥的，真是太简单了。     　　1、 门框斜压收内侧赘肉方法：身体离门框约1步距离，手摸门框下压，左右各3秒钟。    　　效果：平日运动不到的身体内侧可以得到很好的拉伸。    　　2、刷杯子瘦手臂 方法：手臂尽量抬高，做刷杯子的动作，换手再做10分钟。    　　效果：收紧手臂，紧致乳房。    　　3、 反手拿重物提臀瘦手臂方法：双手在身体后面做提拉重物动作。    　　效果：一周臀线上升2，手臂纤细2。    　　4、 读书收腹减腿法方法：坐在椅子上读书的时候双膝之间夹毛巾，保持毛巾不掉下来即可。    　　效果：收紧肚子、大腿赘肉。    　　5、开门瘦四肢方法：。双手交换做开拉门的动作;。双脚交换做开拉门的动作。    　　效果：拉伸四肢赘肉，雕塑四肢线条。        //        　　6、金鸡独立穿鞋瘦腰 动作：单脚站立做穿鞋的动作。    　　效果：伸拉腰部赘肉，直接瘦腰。    （实习编辑：李紫嫣） ";
          List<KeywordLabel> labels = helper.predict(str, 20);
          for (KeywordLabel keywordLabel : labels) {
    	System.out.println(keywordLabel);
          }
    }

### 2.3.3.结果 ###

> 赘肉=0.82
> 
> 效果=0.72
> 
> 动作=0.58
> 
> 方法=0.56
> 
> 拉伸=0.53
> 
> 身体=0.3
> 
> 双手=0.28
> 
> 收紧=0.27
> 
> 手臂=0.21
> 
> 四肢=0.16

## 2.4.LDA主题模型算法 ##

### 2.4.1.理论： ###

参考：[https://blog.csdn.net/u012998680/article/details/108853280][https_blog.csdn.net_u012998680_article_details_108853280]

### 2.4.2.训练模型 ###

@Test
    public void LDAModelFit() throws Exception {
          LDAModelOption option = new LDAModelOption()
    		.setDir("data/") //训练文件
    		.setModelDir("model/LDA/")	//模型保存文件夹
    		.setModelName("model-final")//模型多次迭代，默认选择最后一轮结果
                  		.setNiters(100)//迭代轮次
    		.setTwords(20)//top词数
    		.setK(100);//主题数量
          LDAModel model = new LDAModel(option);
          model.fit();
    }

### 2.4.3.调用方法 ###

@Test
    public void ldaTest() throws Exception {
          Option option = new Option()
    		.setMetric(Metric.AVERAGE)
    		.setStrategies(StrategyMetrics.LDA)
    		.setModelOptions(new LDAModelOption());
          LabelHelper helper = new LabelHelper(option).build();
          String str = "6个小动作 让你秒秒都能瘦   　　这是一套小动作组成的瘦身操。看过之后你会觉得，原来真的可以无处不在，生活中的任何一个细节，都可以抓紧机会锻炼和减肥的，真是太简单了。     　　1、 门框斜压收内侧赘肉方法：身体离门框约1步距离，手摸门框下压，左右各3秒钟。    　　效果：平日运动不到的身体内侧可以得到很好的拉伸。    　　2、刷杯子瘦手臂 方法：手臂尽量抬高，做刷杯子的动作，换手再做10分钟。    　　效果：收紧手臂，紧致乳房。    　　3、 反手拿重物提臀瘦手臂方法：双手在身体后面做提拉重物动作。    　　效果：一周臀线上升2，手臂纤细2。    　　4、 读书收腹减腿法方法：坐在椅子上读书的时候双膝之间夹毛巾，保持毛巾不掉下来即可。    　　效果：收紧肚子、大腿赘肉。    　　5、开门瘦四肢方法：。双手交换做开拉门的动作;。双脚交换做开拉门的动作。    　　效果：拉伸四肢赘肉，雕塑四肢线条。        //        　　6、金鸡独立穿鞋瘦腰 动作：单脚站立做穿鞋的动作。    　　效果：伸拉腰部赘肉，直接瘦腰。    （实习编辑：李紫嫣）   ";
          List<KeywordLabel> labels = helper.predict(str, 10);
          for (KeywordLabel keywordLabel : labels) {
    	System.out.println(keywordLabel);
          }
    }

### 2.4.4.结果 ###

> 动作=3.8887724510139923
> 
> 身体=2.661365600884695
> 
> 运动=2.3764437116685673
> 
> 双手=1.49493318442435
> 
> 锻炼=1.469841001945945
> 
> 手臂=1.0400248680048332
> 
> 大腿=0.9809437721154729
> 
> 编辑=0.700652470796032
> 
> 实习=0.6795867783590948
> 
> 双脚=0.6585776522809864

# 三、应用分析 #

四个工具的关键词提取效果其实差距不大，总体来看 TextRank≈SPAN > LDA > TF-IDF，运行速率也无明显差别，可根据项目需求选用(个人推荐TextRank、SPAN，不用训练模型).

[https_blog.csdn.net_u012998680_article_details_107713952]: https://blog.csdn.net/u012998680/article/details/107713952
[b002ac107cfaaf9d0e48adb156ea95c4.png]: https://img-blog.csdnimg.cn/img_convert/b002ac107cfaaf9d0e48adb156ea95c4.png
[https_blog.csdn.net_u012998680_article_details_108853280]: https://blog.csdn.net/u012998680/article/details/108853280