中文分词：正向最大匹配与逆向最大匹配

喜欢ヅ旅行 2023-07-25 12:41 38阅读 0赞

正向（前向）最大匹配与逆向（后向）最大匹配。

中文分词目前可以分为“规则分词”，“统计分词”，“混合分词（规则+统计）”这三个主要流派。这次介绍下基于规则的分词，其是一种机械的分词方法，主要通过维护词典，在切分语句时，将语句的每个字符串与词表中的词逐一进行匹配，找到则切分，否则不予切分。

正向最大匹配算法：这里需要知道两点，一个是分词词典（也即是已经分词过的词典），另一个是需要被分词的文档。假定分词词典中的最长词有ii个汉子字符串，则用被处理文档的当前字符串中的前ii个字作为匹配字段，查找字典。若此时分词词典中存在这样一个字符串，则匹配成功，而此时被匹配的字段切分出来。如果匹配失败，将匹配字段中的最后一个字去掉，对此时剩下的字串重新与分词词典进行匹配，如此下去直到匹配成功。也即是切分出一个词或剩余字串的长度为零为止，这个时候才是匹配了一轮，接着进行下一个ii字字串的匹配，方法同上，直到文档被扫描完为止。

### 示例说明 ###

示例1：

对字符串：“研究生命的起源”进行分词。  
假定我们的字典中的相关内容如下:  
研究  
研究生  
生命  
命  
的  
起源

假定最大匹配字数设定为5。

###    正向最大匹配过程 ###

研究生命的  
研究生命  
研究生 \#第一个词匹配成功  
命的起源  
命的起  
命的  
命 \#第二个词匹配成功，一个单字  
的起源  
的起  
的 \#第三个词匹配成功  
起源 \#第四个词匹配成功  
那么正向最大匹配的结果就是  
研究生 命 的 起源

###    逆向最大匹配的过程 ###

生命的起源  
命的起源  
的起源  
起源 \#第一个词匹配成功  
研究生命的  
究生命的  
生命的  
命的  
的 \#第二个词匹配成功  
研究生命  
究生命  
生命 \#第三个词匹配成功  
研究 \#第四个词匹配成功  
所以逆向最大匹配后的结果为  
研究 生命 的 起源  
**两种分词过程总结**  
【正向匹配：从左到右，逐步去掉右部（底部）的字进行新一轮匹配，逆向匹配：从右到左，逐步去掉左部（底部）的字进行新一轮匹配】  
因为中文比较复杂以及中文的特殊性，逆向最大匹配大多时候往往会比正向要准确。

示例2：

对“我们在野生动物园玩”进行分词。

1、正向最大匹配法：

正向即从前往后取词，从7->1，每次减一个字，直到词典命中或剩下1个单字。

第1次：“我们在野生动物”，扫描7字词典，无

第2次：“我们在野生动”，扫描6字词典，无

。。。。

第6次：“我们”，扫描2字词典，有

扫描中止，输出第1个词为“我们”，去除第1个词后开始第2轮扫描，即：

第2轮扫描：

第1次：“在野生动物园玩”，扫描7字词典，无

第2次：“在野生动物园”，扫描6字词典，无

。。。。

第6次：“在野”，扫描2字词典，有

扫描中止，输出第2个词为“在野”，去除第2个词后开始第3轮扫描，即：

第3轮扫描：

第1次：“生动物园玩”，扫描5字词典，无

第2次：“生动物园”，扫描4字词典，无

第3次：“生动物”，扫描3字词典，无

第4次：“生动”，扫描2字词典，有

扫描中止，输出第3个词为“生动”，第4轮扫描，即：

第4轮扫描：

第1次：“物园玩”，扫描3字词典，无

第2次：“物园”，扫描2字词典，无

第3次：“物”，扫描1字词典，无

扫描中止，输出第4个词为“物”，非字典词数加1，开始第5轮扫描，即：

第5轮扫描：

第1次：“园玩”，扫描2字词典，无

第2次：“园”，扫描1字词典，有

扫描中止，输出第5个词为“园”，单字字典词数加1，开始第6轮扫描，即：

第6轮扫描：

第1次：“玩”，扫描1字字典词，有

扫描中止，输出第6个词为“玩”，单字字典词数加1，整体扫描结束。

正向最大匹配法，最终切分结果为：“我们/在野/生动/物/园/玩”，其中，单字字典词为2，非词典词为1。

2、逆向最大匹配法：

逆向即从后往前取词，其他逻辑和正向相同。即：

第1轮扫描：“在野生动物园玩”

第1次：“在野生动物园玩”，扫描7字词典，无

第2次：“野生动物园玩”，扫描6字词典，无

。。。。

第7次：“玩”，扫描1字词典，有

扫描中止，输出“玩”，单字字典词加1，开始第2轮扫描

第2轮扫描：“们在野生动物园”

第1次：“们在野生动物园”，扫描7字词典，无

第2次：“在野生动物园”，扫描6字词典，无

第3次：“野生动物园”，扫描5字词典，有

扫描中止，输出“野生动物园”，开始第3轮扫描

第3轮扫描：“我们在”

第1次：“我们在”，扫描3字词典，无

第2次：“们在”，扫描2字词典，无

第3次：“在”，扫描1字词典，有

扫描中止，输出“在”，单字字典词加1，开始第4轮扫描

第4轮扫描：“我们”

第1次：“我们”，扫描2字词典，有

扫描中止，输出“我们”，整体扫描结束。

逆向最大匹配法，最终切分结果为：“我们/在/野生动物园/玩”，其中，单字字典词为2，非词典词为0。

3、双向最大匹配法：

正向最大匹配法和逆向最大匹配法，都有其局限性，我举得例子是正向最大匹配法局限性的例子，逆向也同样存在（如：长春药店，逆向切分为“长/春药店”），因此有人又提出了双向最大匹配法，双向最大匹配法。即，两种算法都切一遍，然后根据大颗粒度词越多越好，非词典词和单字词越少越好的原则，选取其中一种分词结果输出。

如：“我们在野生动物园玩”

正向最大匹配法，最终切分结果为：“我们/在野/生动/物/园/玩”，其中，两字词3个，单字字典词为2，非词典词为1。

逆向最大匹配法，最终切分结果为：“我们/在/野生动物园/玩”，其中，五字词1个，两字词1个，单字字典词为2，非词典词为0。

非字典词：正向(1)>逆向(0)（越少越好）

单字字典词：正向(2)=逆向(2)（越少越好）

总词数：正向(6)>逆向(4)（越少越好）

因此最终输出为逆向结果。

### 代码 ###

\[[中文分词之正向最大匹配算法][Link 1]\]

from: [https://youzipi.blog.csdn.net/article/details/105525351][https_youzipi.blog.csdn.net_article_details_105525351]

ref:

[Link 1]: https://blog.csdn.net/lilong117194/article/details/81113171
[https_youzipi.blog.csdn.net_article_details_105525351]: https://youzipi.blog.csdn.net/article/details/105525351