Elasticsearch 自定义分析器Analyzer

深藏阁楼爱情的钟 2023-06-27 03:13 24阅读 0赞

# java学习讨论群：725562382 #

## 2，自定义分析器Analyzer ##

curl -X PUT "192.168.0.120:9200/simple_example" -H 'Content-Type: application/json' -d'
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "rebuilt_simple": {
              "tokenizer": "lowercase",
              "filter": [         
              ]
            }
          }
        }
      }
    }

### 2.1.  Whitespace Analyzer ###

whitespace 分析器，当它遇到**空白字符**时，就将文本解析成terms

示例：

curl -X POST "192.168.0.120:9200/_analyze" -H 'Content-Type: application/json' -d'
    {
      "analyzer": "whitespace",
      "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
    }

输出结果如下：

[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]

### 2.2.  Stop Analyzer（停止词分析器） ###

stop 分析器 和 simple 分析器很像，唯一不同的是，stop 分析器增加了对删除停止词的支持。默认用的停止词是 \_englisht\_

（PS：意思是，假设有一句话“this is a apple”，并且假设“this” 和 “is”都是停止词，那么用simple的话输出会是\[ this , is , a , apple \]，而用stop输出的结果会是\[ a , apple \]，到这里就看出二者的区别了，stop 不会输出停止词，也就是说它不认为停止词是一个term）

（PS：所谓的停止词，可以理解为分隔符）

示例

curl -X POST "192.168.0.120:9200/_analyze" -H 'Content-Type: application/json' -d'
    {
        "analyzer": "stop",
        "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
    }

输出

[ quick, brown, foxes, jumped, over, lazy, dog, s, bone ]

### 2.3  配置 ###

stop 接受以下参数：

*  stopwords  ：  一个预定义的停止词列表（比如，\_englisht\_）或者是一个包含停止词的列表。默认是 \_english\_
 *  stopwords\_path  ：  包含停止词的文件路径。这个路径是相对于Elasticsearch的config目录的一个路径

2.3.1  示例配置

curl -X PUT "192.168.0.120:9200/my_index" -H 'Content-Type: application/json' -d'
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "my_stop_analyzer": {
              "type": "stop",
              "stopwords": ["the", "over"]
            }
          }
        }
      }
    }

上面配置了一个stop分析器，它的停止词有两个：the 和 over

curl -X POST "192.168.0.120:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'
    {
      "analyzer": "my_stop_analyzer",
      "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
    }

基于以上配置，这个请求输入会是这样的：

[ quick, brown, foxes, jumped, lazy, dog, s, bone ]

### 2.4.  Pattern Analyzer ###

用**Java正则表达式**来将文本分割成terms，默认的正则表达式是\\W+（非单词字符）

2.6.1.  示例

curl -X POST "192.168.0.120:9200/_analyze" -H 'Content-Type: application/json' -d'
    {
      "analyzer": "pattern",
      "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
    }

由于默认按照非单词字符分割，因此输出会是这样的：

[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

2.4.1.  配置

pattern 分析器接受如下参数：

*  pattern  ：  一个Java正则表达式，默认 \\W+
 *  flags  ：  Java正则表达式flags。比如：CASE\_INSENSITIVE 、COMMENTS
 *  lowercase  ：  是否将terms全部转成小写。默认true
 *  stopwords  ：  一个预定义的停止词列表，或者包含停止词的一个列表。默认是 \_none\_
 *  stopwords\_path  ：  停止词文件路径

2.4.2.  示例配置

curl -X PUT "192.168.0.120:9200/my_index" -H 'Content-Type: application/json' -d'
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "my_email_analyzer": {
              "type":      "pattern",
              "pattern":   "\\W|_", 
              "lowercase": true
            }
          }
        }
      }
    }

上面的例子中配置了按照非单词字符或者下划线分割，并且输出的term都是小写

curl -X POST "192.168.0.120:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'
    {
      "analyzer": "my_email_analyzer",
      "text": "John_Smith@foo-bar.com"
    }

因此，基于以上配置，本例输出如下：

[ john, smith, foo, bar, com ]

### 2.5.  Language Analyzers ###

支持不同语言环境下的文本分析。内置（预定义）的语言有：arabic, armenian, basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish, swedish, turkish, thai

### 2.6.  自定义Analyzer ###

前面也说过，一个分析器由三部分构成：

*  zero or more character filters
 *  a tokenizer
 *  zero or more token filters

2.6.1.  实例配置

curl -X PUT "192.168.0.120:9200/my_index" -H 'Content-Type: application/json' -d'
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "my_custom_analyzer": {
              "type":      "custom", 
              "tokenizer": "standard",
              "char_filter": [
                "html_strip"
              ],
              "filter": [
                "lowercase",
                "asciifolding"
              ]
            }
          }
        }
      }
    }

3.  Tokenizer

3.1.  Standard Tokenizer

curl -X POST "192.168.0.120:9200/_analyze" -H 'Content-Type: application/json' -d'
    {
      "tokenizer": "standard",
      "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
    }
    '