第五章 ES相关性检索与组合查询

àì夳堔傛蜴生んèń 2023-02-28 12:50 34阅读 0赞

# **一、相关性检索和组合查询概念** #

在全文检索中，检索结果与查询条件的相关性是一个极为重要的问题，优秀的全文检索引擎应该将那些与查询条件相关性高的文档排在最前面。想象一下。如果满足查询条件的文档成千上万，让用户在这些文档中再找出自己最满意的那一条，这无异于再做一次人工检索。用户一般很少会有耐心在检索结果中翻到第3页，所以处理好检索结果的相关性对于检索引擎来说至关重要。

Google公司就是因为发明了Page Rank算法，巧妙地解决了网页检索结果的相关性问题，才在众多搜索公司中迅速崛起。**相关性问题有两方面问题要解决，一是如何评价单个查询条件的相关性，二是如何将多个查询条件的相关性组合起来。**

## **1、什么是相关性评分？** ##

全文检索与数据库查询的一个显著区别，就是它并不一定会根据查询条件做完全精确的匹配。除了模糊查询以外，全文检索还会根据查询条件给文档的相关性打分并排序，将那些与查询条件相关性高的文档排在最前面。相关性( Relevance)或相似性(Similarity)是指两个事物间相互关联的程度，在检索领特指检索请求与检索结果之间的相关程度。**在 Elaticsearch返回的每条结果中都会包含一个\_score字段，这个字段的值就是当前文档匹配检索请求的相关性评分，我们也可以称为相关度。**

解决相关性问题的核心是计算相关度的算法和模型，**相关度算法和模型**是全文检索文章最重要的技术之一。相关度算法和相关度模型并非完全相同的概念，相关度模型可以认为是具有相同理论基础的算法集合。所以在实际应用时都是指定到具体的相关度算法，相关度模型则是从理论层面对相关度算法的归类。

## **2、相关度模型** ##

Elasticsearch支持多种相关度算法，它们通过类型名称来标识，包括boolean、BM25、DFR等等很多。这些算法分别归属于几种不同的理论模型，它们是布尔模型、向量空间模型、概率模型、语言模型等。

### **2.1、布尔模型** ###

布尔模型( Boolean Model)是最简单的相关度模型，最终的相关度只有1或0两种。如果检索中包含多个查询条件，则查询条件之间的相关度组合方式取决它们之间的逻辑运算符，即以逻辑运算中的与、或、非组合评分。文档的最终评分为1时会被添加到检索结果中，而评分为0时则不会出现在检索结果中。这与使用SQL语句查询数据库有些类似，完全根据查询条件决定结果，非此即彼。在Elasticearch支持的相关度算法中，boolean算法即采用布尔模型，有些地方也部分地采用了布尔模型。

### **2.2、向量空间模型** ###

向量空间模型(Vector Space Mode)组合多个相关度时采用的是基于向量的算法。在向量空间模型中，多个查询条件的相关度以向量的形式表示。向量实际上就是包含多个数的一维数组，例如\[1,2, 3,4, 5, 6\]就是一个6维向量，其中每个数字都代表一个查询条件的相关度。文档对于n个查询条件会形成一个n维的向量空间，如果定义1个查询条件最佳匹配的n维向量，那么与这个向量越接近则相关度越高。从向量的角度来看，就是两个向量之间的夹角越小相关度越高，所以n个相关度的组合就转换为向量之间夹角的计算。

简单理解，可以只考虑一个二维向量，也就是查询条件只有两个，这样就可以将两个相关度映射到二维坐标图的X轴和Y轴上。假设两个查询条件权重相同，那么最佳匹配值就可以设置为\[1, 1\]。如果某文档匹配了第一个条件，部分地匹配了第二个条件，则该文档的向量值为\[1, 0.2\]。将这两个向量绘制在二维坐标图中，就得到了它们的夹角。

对于多维向量来说，线性代数提供了余弦近似度算法，专门用于计算两个多维向量的夹角。

**注：**余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间。

注意这上下界对任何维度的向量空间中都适用，而且余弦相似性最常用于高维正空间。例如在信息检索中，每个词项被赋予不同的维度，而一个维度由一个向量表示，其各个维度上的值对应于该词项在文档中出现的频率。余弦相似度因此可以给出两篇文档在其主题方面的相似度。

### **2.3、概率模型** ###

概率模型是基于概率论构建的模型，BM25、DFR、DFI都属于概率模型中的一种实现算法，背后有着非常严谨的概率理论依据。以其中最为流行的BM25为例，它背后的概率理论是**贝叶斯定理**，而这个定理在许多领城中都有广泛的应用。

### **2.4、语言模型** ###

语言模型最早并不是应用于全文检索领域，而是应用于**语音识别、机器翻译、拼写检查**等领域。在全文检索中，语言模型为每个文档建立不同的计算模型，用以判断由文档生成某一查询条件的概率是多少，而这个概率的值就可以认为是相关度。可见，语言模型与其他检索模型正好相反，其他检索模型都是从查询条件查找满足条件的文档，**而语言模型则是根据文档推断可能的查询条件。**

## **3、TF/IDF** ##

对于一篇几百字几千字的文章，如何生成足以准确表示该文章的特征向量呢？就像论文一样，摘要、关键词毫无疑问就是全篇最核心的内容，因此，我们要设法提取一篇文档的关键词，并对每个关键词计算其对应的特征权值，从而形成特征向量。这里涉及一个非常简单但又相当强大的算法，即TF-IDF算法。

TF/IDF实际上两个影响相关度的因素，即TF和IDF。其中**TF是词项频率简称词频，**指一个词项在当前文档中出现的次数，而IDF则是**逆向文档频率**，指词项在所有文档中出现的次数。

Elasticsearch提供的几种算法中都或多或少有TF/IDF的思想，例如BM25算法虽然是通过概率论推导而来，但最终的计算公式与TF/IDF在本质上也是一致的。**TF/IDF算法的核心思想是TF越高则相关度越高，而IDF越高相关度越低。**TF对相关度的影响比较容易理解，但IDF为什么会在词项出现次数多的时候反而相关度低呢?

举例来说，如果使用"elasticsearch全文检索"两个词项做检索，文档中“elasticsearch"出现次数高的文档比“全文检索”出现次数高的文档相关度要高。这是因为“elasticsearch "是专业性比较强的词汇，更加专有，它在其他文档中出现的次数会比较少，也就是IDF低，而“全文检索”虽然也是专业性词汇，但它覆盖的面要比“elasticsearch " 更广泛，所以它在其他文档中出现的次数会比较高，也就是IDF高。换句话说，介绍elasticsearch的文章大概率会提到全文检索。但介绍全文检索的文章则不一定会提到elasticsearch，比如一篇介绍MongoDB的文章大概率会提到全文检索，但是这样的文章与“elasticsearch全文检索”的相关度不高。

可见，在使用TF/IDF计算评分时必须要用到词项在文档中出现的频率，即词频。默认情况下文档text类型字段在编入索引时都会记录词频。Elasticsearch中的classic算法实际上是使用Lucene的实用评分函数(Practical Scoring Function)，这个评分函数结合了布尔模型、TF/IDF和向量空间模型来共同计算分值。该算法是早期Elasticsearch运算相关度的算法，现在已经改为BM25了。

## **4、BM25** ##

BM25是Best Match25的简写，由于最早应用于一个名为Okapi的系统中，所以很多文献中也称之为 Okapi BM25。BM25算法被认为是当今最先进的相关度算法之一，Elasticsearch文档字段的默认相关度算法就是采用BM25，它属于概率模型，依据贝叶斯公式，经过一系列的严格推导以后，得出了一个关于IDF的 公式。

![20200721161343439.png][]

同时在这个基础上，最终的公式上加入了对TF、当前文档的长度、词频饱和度、长度归一化等因素的考虑：

![20200721161352390.png][]

### **4.1、词频饱和度** ###

所谓词频饱和度指的是当词频超过一定数量之后，它对相关度的影响将趋于饱和。换句话说，词频10次的相关度比词频1次的分值要大很多，但100次10次之间差距就不会那么明显了。在BM25算法中，控制词频饱和度的参数是k1，默认值为1.2。参数k1的值越小词频对相关度的影响就会越快趋于饱和，而值越大词频饱和度变化越慢。

举例来说，如果将k1设置为1，词频达到10时就会趋于饱和；而当k1设置为100时词频在100时才会趋于饱和。一般来说k1的取值范围为\[1.2, 2.0\]。

### **4.2、长度归一化** ###

一般来说， 查询条件中的词项出现在较短的文本中，比出现在较长的文本中对结果的相关性影响更大。

举例来说，如果一篇文章的标题中包含elasticsearch，那么这篇文章是专门介绍elasticsearch的可能性比只在文章内容中出现elasticsearch的可能要高很多。但这种比较其实是建立在两个不同的字段上，而在实际检索时往往是针对相同的字段做比较。

比如在两篇文章的标题中都出现了elasticsearch，那么哪一篇文章的相关度更高呢?

BM25针对这种情况对文本长度做了所谓的归一化处理，即考虑当前文档字段的文本长度与所有文档的字段平均长度的比值，而这个比值就是长度归一化因素。

为了控制长度归一化对相关度的影响，在长度归一化中加了一个控制参数b。这个值的取值范围为\[0.0, 1.0\]，取值0.0时会禁用归一化，而取值1.0则会完全启用归一化，默认值为0. 75。

## **5、相关度解释** ##

相关度算法可通过text或keyword类型字段的similarity参数修改，也就是说相关度算法不针对整个文档而是针对单个字段，它的默认值是BM25。当然Elasticsearch相关度评分比这里介绍的内容要复杂得多，可以通过在查询时添加explain参数查看评分解释。例如:

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "match": \{
> 
>       "message": "chrome"
> 
>     \}
> 
>   \},
> 
>   "explain": true
> 
> \}

除此之外，通过\_explain接口也可以实现类似的功能，不同的是\_explain接口查看的是单个文档与检索条件的相关度评分解释。例如:

> POST /kibana\_sample\_data\_logs/\_explain/5JOUVnMBNqF0Lmj\_DG9M
> 
> \{
> 
>   "query": \{
> 
>     "match": \{
> 
>       "message": "chrome"
> 
>     \}
> 
>   \}
> 
> \}

我们可以大致了解下 Elasticsearch 是如何进行评分的：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4_size_16_color_FFFFFF_t_70][]

## **6、相关度权重** ##

在一些情况下需要将某些字段的相关度权重提升，以增加这些字段对检索结果相关性评分的影响。比如，同时使用对文章标题tile字段和文章内容content字段做检索，tile字段化相关性评分中的权重应该比content字段高一些，这时就可以将tile字段的相关度评分权重提高。所以相关度权重提升一般都是在多个查询条件时设置，提升相关度权重有多种办法，下面分别来看一下。

### **6.1、boost参数** ###

boost参数可以在创建索引时直接设置给字段，也可以在执行检索时动态更改。如果不做更改，boost参数的默认值为1。但并非所有类型的字段都可以设置boost，在创建索引时设置boost参数并不是一个好的方法，因为这个参数在索引创建以后就不能再更改而降低了灵活性，所以在Elasticsearch版本5中就已经被废止。所以更好的方式是检索时提升查询条件的相关度权重，几乎前面介绍的所有DSL查询都支持通**过boost参数设置查询条件的相关度权重**。

### **6.2、boost参数示例:** ###

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "range": \{
> 
>       "AvgTicketPrice": \{
> 
>         "gte": 1000,
> 
>         "lte": 1200,
> 
>         "boost": 2
> 
>       \}
> 
>     \}
> 
>   \}
> 
> \}

通过boost参数设置查询条件的相关度权重主要用于多查询条件时调整每个查询条件在相关度计算中的权重。

# **二、组合查询与相关度组合** #

相关性问题不仅要解决单个查询条件的相关度计算，还要考虑如何将多个查询条件产生的相关度组合起来。而相关度组合问题主要出现在组合查询中，所以接下来我们就要了解下组合查询及相关度组合问题。

组合查询可以将通过某种逻辑将子查询组合起来，实现对多个字段与多个查询条件的任意组合。组合查询组合的子查询不仅可以是基于词项或基于全文的子查询，也可以是另一个组合查询。单纯从组合查询的使用上来看，组合查询并不复杂，复杂的是组合多个子查询相关度的逻辑，这也是它们的核心区别之一。

## **1、bool组合查询** ##

bool组合查询将一组布尔类型子句组合起来，形成个大的布尔条件。通过SQL语言查询数据时，如果一条数据不满足where子句的查询条件，这条记录将不会作为结果返回。

但Elasticsearch的bool组合查询则不同，在它的子句中，一些子句的确会决定文档是否会作为结果返回，而另一些子句则不决定文档是否可以作为结果，但会影响到结果的相关度。bool组合查询可用的布尔类型子句包括must、filter、should和must \_not四种，它们接收参数值的类型为数组。

*  **must****：**查询结果中必须要包含的内容，影响相关度。
 *  **filter****：**查询结果中必须要包含的内容，不会影响相关度。
 *  **should****：**查询结果非必须包含项，包含了会提高分数，影响相关度。
 *  **must\_not****：**查询结果中不能包含的内容，不会影响相关度。

可见，filter和must \_not单纯只用于过滤文档，而它们对文档相关度没有任何影响。换句话说，这两种子句对查询结果的排序没有作用。在这四种子句中，should子句的情况有些复杂。首先它的执行结果影响相关度，但在是否过滤结果上则取决于上下文。当should子句与must子句或filter子句同时出现在子句 中时，should子句将不会过滤结果。也就是说，在这种情况下，即使should子句不满足，结果也会返回。例如：

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "bool": \{ 
> 
>       "must": \[
> 
>         \{ 
> 
>           "match": \{ 
> 
>             "message": "firefox"
> 
>           \}
> 
>         \}
> 
>       \],
> 
>       "should": \[
> 
>         \{ 
> 
>           "term": \{ 
> 
>             "geo. src": "CN"
> 
>           \}
> 
>         \},
> 
>         \{ 
> 
>           "term": \{ 
> 
>             "geo. dest": "CN"
> 
>           \}
> 
>         \}
> 
>       \]
> 
>     \}
> 
>   \}
> 
> \}

只有message字段包含firefox词项的日志文档才会被返回，而geo的src字段和dest字段是否为CN只影响相关度，当然相关度越高的肯定排在前面，可以通过下面的例子观察到：

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "bool": \{ 
> 
>       "must": \[
> 
>         \{ 
> 
>           "match": \{ 
> 
>             "message": "firefox"
> 
>           \}
> 
>         \}
> 
>       \],
> 
>       "should": \[
> 
>         \{ 
> 
>           "term": \{ 
> 
>             "geo.src": "CN"
> 
>           \}
> 
>         \},
> 
>         \{ 
> 
>           "term": \{ 
> 
>             "geo.dest": "CN"
> 
>           \}
> 
>         \}
> 
>       \]
> 
>     \}
> 
>   \},
> 
>   "sort": \[
> 
>     \{
> 
>       "\_score": \{
> 
>         "order": "asc"
> 
>       \}
> 
>     \}
> 
>   \]
> 
> \}

但是如果在查询条件中将must子句删除，那么should子句就至少要满足有一条。should子句需要满足的个数由query的minimum\_ should\_match参数决定，默认情况下它的值为1。

布尔查询在计算相关性得分时，采取了匹配越多分值越高的策略。由于filter和must\_not不参与分值运算，所以文档的最后得分是must和should子句的相关性分值相加后返回给用户。同时还可以试试：

可以发现，最终返回的结果中又过滤了一次，extension的值为zip的才会返回。

## **2、dis\_max组合查询** ##

dis\_max查询也是种组合查询，只是它在计算相关性度时与bool查询不同。dis\_max查询在计算相关性分值时，会在子查询中取最大相关性分值为最终相关性分值结果，而忽略其他子查询的相关性得分。dis\_max 查询通过queries参数接收对象的数组。例如:

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "dis\_max": \{ 
> 
>       "queries": \[
> 
>         \{ 
> 
>           "match": \{ 
> 
>             "message": "firefox"
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "term": \{ 
> 
>             "geo. src": "CN"
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "term": \{ 
> 
>             "geo. dest": "CN"
> 
>           \}
> 
>         \}
> 
>       \]
> 
>     \}
> 
>   \}
> 
> \}

在多数情况下，完全不考虑其他字段的相关度可能并不合适，所以可以使用tie\_ breaker参数设置其他字段参与相关度运算的系数。这个系数会在运算最终相关度时乘以其他字段的相关度，再加上最大得分就得到最终的相关度了。所以一般来说，tie\_ breaker应该小于1，默认值为0。例如在示例的返回结果中，即使文档message和geo字段都满足查询条件它也不定会排在最前面。可添加tie\_breaker参数并设置为0.7。

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "dis\_max": \{
> 
>       "queries": \[
> 
>         \{
> 
>           "match": \{
> 
>             "message": "firefox"
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "term": \{
> 
>             "geo. src": "CN"
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "term": \{
> 
>             "geo. dest": "CN"
> 
>           \}
> 
>         \}
> 
>       \],
> 
>       "tie\_breaker": 0.7
> 
>     \}
> 
>   \}
> 
> \}

在添加了tie \_breaker参数后，相关度非最高值字段在参与最終相关度结果时的权重就降低为0.7。但它们对结果排序会产生影响，完全满足条件的文档将排在结果最前面。

## **3、constant\_score查询** ##

constant\_score查询返回结果中文档的相关度为固定值，这个固定值由boost参数设置，默认值为1.0。constant score查询只有两个参数filter和boost，前者与bool组合查询中的filter完全相同，仅用于过滤结果而不影响分值。

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "constant\_score": \{ 
> 
>       "filter": \{ 
> 
>         "match": \{ 
> 
>           "geo.src": "CN"
> 
>         \}
> 
>       \},
> 
>       "boost": 1.3
> 
>     \}
> 
>   \}
> 
> \}

由于示例中通过boost参数设置了相关度，所以满足查询条件文档的score值将都是1.3，match\_all查询也可以当成是一种特殊类型的constant\_score查询，它会返回索引中所有文档，面每个文档的相关度都是1.0。它的作用和boost参数类似，组合查询时调整子查询在相关度计算中的权重。

## **4、boosting查询** ##

boosting查询通过positive子句设置满足条件的文档，这类似于bool查询中的must子句，只有满足 positive条件的文档才会被返回。boosting查询通过negative子句设置需要排除文档的条件， 这类似于bool 查询中的must \_not子旬。但与bool查询不同的是，boosting查询不会将满足negative条件的文档从返回结果中排除，而只是会拉低它们的相关性。

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "boosting": \{ 
> 
>       "positive": \{ 
> 
>         "term": \{ 
> 
>           "geo.src": "CN"
> 
>         \}
> 
>       \},
> 
>       "negative": \{ 
> 
>         "term": \{ 
> 
>           "geo. dest": "CN"
> 
>         \}
> 
>       \},
> 
>       "negative\_boost": 0.2
> 
>     \}
> 
>   \},
> 
>   "sort": \[
> 
>     \{
> 
>       "\_score": "asc"
> 
>     \}
> 
>   \]
> 
> \}

在示例中，参数negative\_ boost设置了一个系数，当满足negative条件时相关度会乘以这个系数作为最终分值，所以这个值应该小于1而大于等于0。如果geo\_src为CN的文档相关度为1.6，那么geo.Dest字段也是CN的文档相关度就需要再乘以0.2，所以最终相关度为0. 32。

## **5、function\_score查询** ##

function\_score查询提供了一组计算查询结果相关度的不同函数，通过为查询条件定义不同打分函数实现文档检索相关性的自定义打分机制。查询条件通过function\_score的query参数设置，而使用的打分函数则使用functions参数设置。例如:

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "function\_score": \{ 
> 
>       "query": \{ 
> 
>         "query\_string": \{ 
> 
>           "fields": \[
> 
>             "message"
> 
>           \],
> 
>           "query": "(firefox 6.0a1) OR (chrome 11.0.696.50)"
> 
>         \}
> 
>       \},
> 
>       "functions": \[
> 
>         \{
> 
>           "weight": 2
> 
>         \},
> 
>         \{
> 
>           "random\_score": \{\}
> 
>         \}
> 
>       \],
> 
>       "score\_mode": "max",
> 
>       "boost\_mode": "avg"
> 
>     \}
> 
>   \}
> 
> \}

function\_score查询在运算相关度时，首先会通过functions指定的打分函数算出每份文档的得分。如果指定了多个打分函数，它们打分的结果会根据score\_mode参数定义的模式组合起来。

以示例为例，functions参数定义了两个打分函数，random\_score函数会在0-1之间产生一个随机数，而weight函数则会以指定的值为相关性分值。由于score\_mode参数设置的值为max，即从所有评分函数运算结果中取最大值，而weight值为2，它将永远大于random\_ score产生的值，所以评分函数最终给出的分值也将永远是2。

score\_mode包括以下几个选项multiply、sum、avg、first、 max、min，通过名称很容易判断它们的含义，分别是在所有评分函数的运算结果中取它们的乘积、和、平均值、首个值、最大值和最小值。

打分函数运算的相关性评分会与query参数中查询条件的相关度组合起来，组合的方式通过boost\_mode参数指定，它的默认值与score\_mode一样都是multiply。boost\_mode参数的可选值与score\_mode也基本一致，但没有first而多了一个replace，代表使用评分函数计算结果代替查询分值。

可见function\_score是一种在运算相关度上非常灵活的组合查询，这种灵活性主要体现在它提供了一组打分函数，以及组合这些打分函数的灵活方式。打分函数包括weight、random\_score、field\_value\_factor以及衰减函数等等。在这些函数中下面再来简单介绍一下其他打分函数。

### **5.1、field\_value\_factor函数** ###

field\_value\_factor函数在计算相关度时允许加入某一字段作为干扰因子，比如：

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "function\_score": \{
> 
>       "query": \{ 
> 
>         "bool": \{ 
> 
>           "must": \[
> 
>             \{ 
> 
>               "match": \{ 
> 
>                 "OriginCountry": "CN"
> 
>               \}
> 
>             \},
> 
>             \{
> 
>               "match": \{ 
> 
>                 "DestCountry": "US"
> 
>               \}
> 
>             \}
> 
>           \]
> 
>         \}
> 
>       \},
> 
>       "field\_value\_factor": \{ 
> 
>         "field": "AvgTicketPrice",
> 
>         "factor": 0.001,
> 
>         "modifier": "reciprocal",
> 
>         "missing": 1000
> 
>       \}
> 
>     \}
> 
>   \}
> 
> \}

这个示例实际上是将相关度按票价由低到高的次序做了权重的提升，票价越低最终的相关度越高。这相当是找出所有从中国到美国的航班，并按票价由低到高的次序排序。

在示例中，field\_value\_factor打分函数通过field参数设置了干扰字段为AvgTicketPrice，而factor则是为干扰字段设置的调整因子，它会与字段值相乘后再参与接下来的运算。Missing表示如果字段值是丢失的，默认被使用的值。modifier参数就有些复杂了，它代表了干扰字段与调整因子相乘的结果如何参与相关度运算。在示例中给出的是reciprocal，代表取倒数1/x。

*  modifier：可用运算方法除了reciprocal以外还有很多；
 *  none：不做其他运算；
 *  Log：取对数；
 *  log1p：加1后再取对数，目的是为了防止字段值为0-1时计算结果为负数；
 *  log2p：加2后再取对教；
 *  ln：自然对数；
 *  ln1p：加1后取自然对数；
 *  ln1p：加2后取自然对数；
 *  square：取平方；
 *  sqrt：取平方根；
 *  Reciprocal：代表取倒数。

### **5.2、衰减函数** ###

衰减函数是一组通过递减方式计算相关度的函数，它们会从指定的原始点开 始对相关度做衰减，离原始点距离越远相关度就越低。衰减函数中的原始点是指 某字段的具体值，由于要计算其他文档与该字段值的距离，所以要求衰减函数原 始点的字段类型必须是数值、日期或地理坐标中的一种。

举例来说，如果在 2019 年 3 月 25 日前后系统运行出现异常，所以对这个日 期前后的数据比较感兴趣，就可以按如下形式发送请求：

> POST kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "function\_score": \{
> 
>       "query": \{
> 
>         "match": \{
> 
>           "OriginCityName": "Beijing"
> 
>         \}
> 
>       \},
> 
>       "gauss": \{
> 
>         "timestamp": \{
> 
>           "origin": "2019-03-25",
> 
>           "scale": "7d",
> 
>           "offset": "1d",
> 
>           "decay": 0.3
> 
>         \}
> 
>       \}
> 
>     \}
> 
>   \}
> 
> \}

在示例中使用的衰减函数为高斯函数，定义原始点使用的字段为timestmp，而具体的原始点则通过origin参数定义在了2019年3月25日。offset参教定义了在1天的范围内相关度不衰减，也就是说2019年3月24-26日相关度不衰减。scale参数和decay参数则共同决定了衰减的程度，前者定义了衰减的跨度范围，而后者则定义了衰减多少。以示例中的设置为例，代表的含义是7天后的文档相关度衰减至0.3倍。

在衰减函数除了高斯函数gauss以外，还有线性函数linear和指数函数exp两种，它们在使用上与高斯函数完全相同。如果将这几种衰减函数以图形画出来就会发现，它们在衰减的平滑度上有着比较明显的区别。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4_size_16_color_FFFFFF_t_70 1][]

# **三、单查询条件下的相关度组合** #

组合查询一般由多个查询条件组成，所以在计算相关度时都要考虑以何种方式组合相关度。而很多的查询都只针对一个字段设置查询条件，所以只有相关度权重提升问题而没有相关度组合问题。但有些查询，比如multi\_match查询可以针对多个字段设置查询条件，所以它们在计算相关度时也需要考虑组合多个相关度的问题。

multi\_match查询具有一个type参数，用于指定针对多字段检索时的执行逻辑及相关度组合方法。type 参数有5个可选值，即best\_fields、most\_fields、cross\_ fields、phrase和phrase\_preix。例如:

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{ 
> 
>   "query": \{ 
> 
>     "multi\_match": \{ 
> 
>       "query": "CN",
> 
>       "fields": \[
> 
>         "originCountry^2",
> 
>         "DestCountry"
> 
>       \],
> 
>       "type": "best\_fields"
> 
>     \}
> 
>   \}
> 
> \}

## **1、best\_fields、phrase与phrase\_prefix类型** ##

best\_fields 类型在执行时会将与字段匹配的文档都检索出来，但在计算相关度时会取得分最高的作为整个查询的相关度。

例如在示例中，第一个查询通过"OrignCountny^2"的形式将OriginCountry字段的相关度权重提升到2，所以这个字段相关度会高于DestCountry字段。在best\_fields类型下执行检索时，DestCountry字段对最终相关度就不会再有影响。通过查看返回结果也可以看到，OriginCountry字段为CN的文档相关度都相同，即使DestCountry字段也是CN，文档的相关度也不会提升。

best\_fields 适用于用户希望匹配条件全部出现在一个字段中的情况，比如在文章标题和文章内容中同时检索 elasticseareh 和 logstash 时，如果在文章标题或是文章内容中同时出现了两个词项，该文章在相关度就会高于其他文章。比如说：有两份文档

> 文档 1：\{
> 
> "title": "Quick brown rabbits",
> 
> "body": "Brown rabbits are commonly seen."
> 
> \}
> 
> 文档 2：\{
> 
> "title": "Keeping pets healthy",
> 
> "body": "My quick brown fox eats rabbits on a regular basis."
> 
> \}

用户输入了"brown fox"来搜索文档，文档2匹配的更好一些，因为它的body字段同时包含了用户寻找的两个单词。

大家是否还记得前面的dis\_max查询（dis\_max查询在计算相关性分值时，会在子查询中取最大相关性分值为最终相关性分值结果，而忽略其他子查询的相关性得分），在相关度计算上dis\_max查询是不是与best\_fields类型很像?事实上，best\_fields类型的查询在执行时会转化为dis\_max查询，例如示例在执行时会转化为：

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "dis\_max": \{ 
> 
>       "queries": \[
> 
>         \{
> 
>           "match": \{
> 
>             "OriginCountry": \{
> 
>               "query": "CN",
> 
>               "boost": 2
> 
>             \}
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "match": \{
> 
>             "DestCountry": "CN"
> 
>           \}
> 
>         \}
> 
>       \]
> 
>     \}
> 
>   \}
> 
> \}

**dis\_max有一个参数tie\_breaker****，**可以设置非最高值相关度参与最终相关度运算的系数，multi\_match中使用best\_fields类型时也可以使用这个参数。

phrase与phrase\_ prefix类型在执行逻辑上与best\_fields完全相同，只是在转换为dis\_max时queries查询中的子查询会使用phrase或phrse\_prefix而不是match。

## **2、most\_fields类型** ##

most\_fields类型在计算相关度时会将所有相关度累加起来，然后再除以相关 度的个数以用到它们的平均值作为最终的相关度。 还是以best\_fields中的那个示例检索为例，如果将type替换为most\_fields，

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "multi\_match": \{
> 
>       "query": "CN",
> 
>       "fields": \[
> 
>         "originCountry^2",
> 
>         "DestCountry"
> 
>       \],
> 
>       "type": "most\_fields"
> 
>     \}
> 
>   \}
> 
> \}

它会将OriginCountry和DestCountry两个字段匹配CN时计算出的相关度累加，然后再用累加和除以2作为最终的相关度。所以只有当两个字段都匹配了CN，最终的相关度才会更高。这在效果上相当于将出发地和目的地都是中国的文档排在了最前面，所以适用于希望检索出多个字段中同时都包含相同词项的检 索。在实现上，most\_fields类型的查询会被转化为bool查询的should子句，上面的示例实际被转化为：

> POST /kibana\_sample\_data\_flights/\_search
> 
> \{
> 
>   "query": \{
> 
>     "bool": \{ 
> 
>       "should": \[
> 
>         \{
> 
>           "match": \{ 
> 
>             "OriginCountry": \{ 
> 
>               "query": "CN",
> 
>               "boost": 2
> 
>             \}
> 
>           \}
> 
>         \},
> 
>         \{
> 
>           "match": \{ 
> 
>             "DestCountry": "CN"
> 
>           \}
> 
>         \}
> 
>       \]
> 
>     \}
> 
>   \}
> 
> \}

## **3、cross\_fields类型** ##

如果查询条件中设置了多个词项，best\_fields类型和most\_ fields类型都支持通过operator参数设置词项之间的逻辑关系，即and和or。但它们在设置operator时是针对字段级别的面不是针对词项级别的，来看一个例子：

> POST /kibana\_sample\_data\_logs/\_search
> 
> \{
> 
>   "query": \{
> 
>     "multi\_match": \{
> 
>       "query": "firefox success",
> 
>       "fields": \[
> 
>         "message",
> 
>         "tags"
> 
>       \],
> 
>       "type": "best\_fields",
> 
>       "operator": "and"
> 
>     \}
> 
>   \}
> 
> \}

示例设置的查询条件为firefox和success两个词项，而匹配字段也是两个messape和tags。当operator设置为and时，在best\_fields类型下这意昧着两个字段中需要至少有一个同时包含firefox和success两个词项，而这样的日志文档并不存在。

而在cross\_fields类型则可以理解为将文档的中message和tags字段组合为一个大的字段，然后在大的字段中搜索词条firefox和success。这样的话只要firefox和success在大字段中均出现过，就认为这个文档符合条件。

[20200721161343439.png]: /images/20230209/242591473c1f461eb6ab8a923ee3888a.png
[20200721161352390.png]: /images/20230209/4a0ef746bbd745cb9d7f28b606a45d38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200721161310258.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200721161048879.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NjYxNDU4,size_16,color_FFFFFF,t_70