sklearn中的分词函数countVectorizer()的改动--保留长度为1的字符串

左手的ㄟ右手 2022-02-03 00:45 139阅读 0赞

#### 1简述问题 ####

使用countVectorizer()将文本向量化时发现，文本中长度唯一的字符串会被自动过滤掉，这对于我在做的情感分析来讲，一些表较重要的表达情感倾向的词汇被过滤掉，比如文本’没用的东西，可把我可把我坑的不轻，越用越觉得这个手机真的废’。

用结巴分词的精确模式分词，然后我用空格连接这些分词得到的句子是：

'没用 的 东西 ， 可 把 我 可 把 我 坑 的 不轻 ， 越用 越 觉得 这个 手机 真的 废'

代码如下：

def cut_word(sent):
        line=re.sub(r'[a-zA-Z0-9]*','',sent)
        wordList=jieba.lcut(line)
        #print(wordList)
        return ' '.join(wordList)
     
    vec= CountVectorizer(min_df=1)
    c='没用的东西，可把我可把我坑的不轻，越用越觉得这个手机真的废'
    cut=cut_word(c)

然后用countVectorizer()对这个分好词的句子进行向量化发现，一个字的词都被过滤掉了：

['不轻', '东西', '手机', '没用', '真的','越用']

代码如下：

vec.fit_transform([cut])
    vec.get_feature_names()

他把最能表达情感倾向的词“坑”，‘废’给过滤掉了，这对于向量化后的句子特征就损失了很多的信息。我认为因为这个库的函数原本就是为了英文分词的，而英文长度为1 的词是26个字母，并不会表示什么重要含义，所以在编写这个函数时自动就给这些长度低于2的单词给去掉了。但是中文可不一样，一个字的意义可以有非常重要的含义。对于我们分类不重要的词，比如一些代词“你”，‘我’，‘他’等其他经常出现的词，可以用停用词表给过滤掉，这个countVectorizer()就自带了一个组停用词的参数，stop\_words,这个停用词是个列表包含了要去掉的停用词，我们可以针对自己需要自定义一个停用词表。当stop\_words=‘english’时，函数会自动为英文文本分词去除停用词。中文都是自己自定义。

#### 2解决方法 ####

我是找了源代码，这个函数在sklearn包的feature\_exceration文件夹中text.py。

找到了打开文件，找到了CountVectorizer()的代码，定位到fit\_transform（raw\_documents）中关于词汇表对于原始文本进行处理的地方  
![在这里插入图片描述][20190508145009992.png]  
看见vocabulary这是包含所有分词的字典，再定位到\_cout\_vocab（）函数位置，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70]  
看见raw\_vocabulary了，796行是对特征（分词）进行计数的放到字典feature\_counter中。doc是原始文本的每行文本，这利用analyze（）处理，再往回找

analyze = self.build\_analyzer()，可再往上找self.build\_analyzer()函数，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70 1]  
我们主要找的是对文本进行处理的函数，所以找的就是出现文本，且对文本进行操作的函数。定位到264行，根据countVectorizer()的初始定义self.analyzer的默认值是‘word’,所以

self.build\_analyzer()函数默认情况下是跳到这里对文本dco进行操作。再看看preprocess()和tokenize()  
![在这里插入图片描述][20190508145109323.png]  
找到self.build\_preprocessor()看一下知道是对文本的编码格式以及大小写的操作，对文本预处理的函数。

重点到self.bulid\_tokenizer(),看名字就是知道是分词函数了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70 2]  
这是我该过的，\#原句是 return lambda doc: token\_pattern.findall(doc),是根据正则表达式token\_patten来从文本doc中找到符合正则表达式的所有分词，可见问题出在这里，再回到原文本countVectorizer()定义的正则表达式。  
![在这里插入图片描述][20190508145254626.png]  
\#原句token\_patten=u’(?u)\\b\\w\\w+\\b’,水平太菜不太看懂这个表达式，反正试了一下，这个表达式真的会过滤掉字符长度为1的字符串，我就改了一下正则表达式。因为待分的文本都是分词好且用空格连起来的字符串，所以用郑子表达式空格作为切分文本的标记。

所以总的来说就是改了两个点

> （1）CountVectorizer中将默认的正则表达式u’(?u)\\b\\w\\w+\\b’改为r"\\s+：即token\_pattern=r"\\s+"

> （2）self.build\_tokenizer()中fiandall()替换成split(),即return lambda doc: token\_pattern.split(doc)(可提高效率，如果只为了功能，可忽略此步骤)

#### 3.测试 ####

结合自己定义的停词表，去掉没用的词，再试一下分词效果：

原来分词效果：

['不轻', '东西', '手机', '没用', '真的','越用']

更改过后效果：

['不轻', '东西', '坑', '废', '手机', '没用', '真的', '越', '越用']
    可见，长度为1的重要情感词，'坑', '废'，得到了保留。

[20190508145009992.png]: /images/20220203/dde11fb505b0408492051a576dfaa7ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70]: /images/20220203/b0bc84cf8a034331895e37c560c86b5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70 1]: /images/20220203/17b56a84d89b453282cbe7644e445559.png
[20190508145109323.png]: /images/20220203/b63f59279c4d41a4abc3fb032a69fc02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21ic2hxcWI_size_16_color_FFFFFF_t_70 2]: /images/20220203/f0f000cd4b324915b9f0f402118a7499.png
[20190508145254626.png]: /images/20220203/e5f7a9d73fff4966b54e199eea469193.png