TNEWS‘ 今日头条中文新闻（短文本）分类

雨点打透心脏的1/2处 2023-01-01 14:58 313阅读 0赞

### 数据分析： ###

1.  数据分布情况：占比例多少
2.  文本 ：一句话多长。截断处理。 平均50个字<=110词。(分完词的长度)

### 多分类： (代码可复现) ###

方法一：6个二分类器。一条句子分别跑6个模型，分最高，选哪个。（效果好）  
方法二：一个模型直接预测出属于哪类。

决策树，SVM，

### TNEWS’ 今日头条中文新闻（短文本）分类 Short Text Classificaiton for News ###

#### 数据集 ####

数据集来自今日头条的新闻版块，共提取了15个类别的新闻，包括旅游，教育，金融，军事等。  
数据量：训练集(53,360)，验证集(10,000)，测试集(10,000)

*  训练集

**Train.json：**  
<label分类，label\_desc分类名称，sentence新闻字符串>  
例子：  
\{“label”: “108”, “label\_desc”: “news\_edu”, “sentence”: “上课时学生手机响个不停，老师一怒之下把手机摔了，家长拿发票让老师赔，大家怎么看待这种事？”, “keywords”: “”\}  
**labels.json：**  
<label分类，label\_desc分类名称>

<table> 
 <thead> 
  <tr> 
   <th>label分类</th> 
   <th>label_desc分类名称</th> 
   <th>（15分类）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>100</td> 
   <td>news_story</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>101</td> 
   <td>news_culture</td> 
   <td>文化</td> 
  </tr> 
  <tr> 
   <td>102</td> 
   <td>news_entertainment</td> 
   <td>娱乐</td> 
  </tr> 
  <tr> 
   <td>103</td> 
   <td>news_sports</td> 
   <td>体育</td> 
  </tr> 
  <tr> 
   <td>104</td> 
   <td>news_finance</td> 
   <td>财经</td> 
  </tr> 
  <tr> 
   <td>106</td> 
   <td>news_house</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>107</td> 
   <td>news_car</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>108</td> 
   <td>news_edu</td> 
   <td>教育</td> 
  </tr> 
  <tr> 
   <td>109</td> 
   <td>news_tech</td> 
   <td>科技</td> 
  </tr> 
  <tr> 
   <td>110</td> 
   <td>news_military</td> 
   <td>军事</td> 
  </tr> 
  <tr> 
   <td>112</td> 
   <td>news_travel</td> 
   <td>旅行</td> 
  </tr> 
  <tr> 
   <td>113</td> 
   <td>news_world</td> 
   <td>世界</td> 
  </tr> 
  <tr> 
   <td>114</td> 
   <td>news_stock</td> 
   <td>股票</td> 
  </tr> 
  <tr> 
   <td>115</td> 
   <td>news_agriculture</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>116</td> 
   <td>news_game</td> 
   <td>游戏</td> 
  </tr> 
 </tbody> 
</table>

*  验证集

**dev.json**  
<label，label\_desc，sentence，keywords关键词>  
例子：  
\{“label”: “102”, “label\_desc”: “news\_entertainment”, “sentence”: “江疏影甜甜圈自拍，迷之角度竟这么好看，美吸引一切事物”, “keywords”: “江疏影,美少女,经纪人,甜甜圈”\}

*  测试集

**Test.json：**  
<id，sentence新闻字符串，keywords关键词>  
例子：  
\{“id”: 0, “sentence”: “在设计史上，每当相对稳定的发展时期，这种设计思想就会成为主导”, “keywords”: “民族性,设计思想,继承型设计,复古主义,服装史”\}