妹子不会Elasticsearch，硬核大佬为博芳心手绘图解教程

谁践踏了优雅 2022-10-15 00:51 73阅读 0赞

回复【面试题】获取2021年最新java面试题合集～

## **\# 摘要**    ##

先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，试图回答以下问题：

*  为什么我的搜索 \*foo-bar\* 无法匹配 foo-bar ？
 *  为什么增加更多的文件会压缩索引（Index）？
 *  为什么ElasticSearch占用很多内存？

##  ##

## **\# 版本** ##

elasticsearch版本: elasticsearch-2.2.0

##     ##

## **\# 内容** ##

### 图解ElasticSearch ###

#### **云上的集群** ####

![af4fd1dd0c291ff4b4e1732e6b51730c.png][]

#### **集群里的盒子** ####

云里面的每个白色正方形的盒子代表一个节点——Node。

![0d708caed03026d5fd0939cd3598f089.png][]

#### **节点之间** ####

在一个或者多个节点直接，多个绿色小方块组合在一起形成一个ElasticSearch的索引。

![53b276c692a9a7551a49ba0d37333c01.png][]

#### **索引里的小方块** ####

在一个索引下，分布在多个节点里的绿色小方块称为分片——Shard。

![a3871bf6aa2c370479189f46027d42b4.png][]

#### **Shard＝Lucene Index** ####

一个ElasticSearch的Shard本质上是一个Lucene Index。

![ab5494dd2a616b99f59c51a6cb46a693.png][]

Lucene是一个Full Text 搜索库（也有很多其他形式的搜索库），ElasticSearch是建立在Lucene之上的。接下来的故事要说的大部分内容实际上是ElasticSearch如何基于Lucene工作的。

### **\# 图解Lucene** ###

#### Mini索引——segment ####

在Lucene里面有很多小的segment，我们可以把它们看成Lucene内部的mini-index。

![767952ce6cf7e6536d4dbc36851e79ef.png][]

#### Segment内部 ####

有着许多数据结构

*  Inverted Index
 *  Stored Fields
 *  Document Values
 *  Cache

![3ba23ed588754790b5efb44465f1a655.png][]

####     ####

#### 最最重要的Inverted Index ####

![9545881f255dfa2f45e03dbf35d60133.png][]

Inverted Index主要包括两部分：

1.  一个有序的数据字典Dictionary（包括单词Term和它出现的频率）。
2.  与单词Term对应的Postings（即存在这个单词的文件）。

当我们搜索的时候，首先将搜索的内容分解，然后在字典里找到对应Term，从而查找到与搜索相关的文件内容。

![685a0c75b66a99b742674a80e18fb8ab.png][]查询“the fury”

![d0534838de2faa49dc5387c6f4644f5d.png][]

##### 自动补全（AutoCompletion-Prefix） #####

如果想要查找以字母“c”开头的字母，可以简单的通过二分查找（Binary Search）在Inverted Index表中找到例如“choice”、“coming”这样的词（Term）。

![47f0c8909cda745f1a5ceb299d7a1424.png][]

##### 昂贵的查找 #####

如果想要查找所有包含“our”字母的单词，那么系统会扫描整个Inverted Index，这是非常昂贵的。

![ad7f1cb7b86881c0efcc16eea7ae6abe.png][]

在此种情况下，如果想要做优化，那么我们面对的问题是如何生成合适的Term。

##### 问题的转化 #####

![b1db5648c5997ae7d80ed8918aaf6683.png][]

对于以上诸如此类的问题，我们可能会有几种可行的解决方案：

*  \* suffix -> xiffus \*
    
    如果我们想以后缀作为搜索条件，可以为Term做反向处理。
 *  (60.6384, 6.5017) -> u4u8gyykk
    
    对于GEO位置信息，可以将它转换为GEO Hash。
 *  123 -> \{1-hundreds, 12-tens, 123\}
    
    对于简单的数字，可以为它生成多重形式的Term。

#####     #####

##### 解决拼写错误 #####

一个Python库 为单词生成了一个包含错误拼写信息的树形状态机，解决拼写错误的问题。

![4f14ff8842cdfce88c7e03cdfdec5af9.png][]

#### Stored Field字段查找 ####

当我们想要查找包含某个特定标题内容的文件时，Inverted Index就不能很好的解决这个问题，所以Lucene提供了另外一种数据结构Stored Fields来解决这个问题。本质上，Stored Fields是一个简单的键值对key-value。默认情况下，ElasticSearch会存储整个文件的JSON source。

![8fb46c0f3b0a3fac3e919642b71128b3.png][]

#### Document Values为了排序，聚合 ####

即使这样，我们发现以上结构仍然无法解决诸如：排序、聚合、facet，因为我们可能会要读取大量不需要的信息。

所以，另一种数据结构解决了此种问题：Document Values。这种结构本质上就是一个列式的存储，它高度优化了具有相同类型的数据的存储结构。

![6df816de19b7c2d4116a568f1f69d59f.png][]

为了提高效率，ElasticSearch可以将索引下某一个Document Value全部读取到内存中进行操作，这大大提升访问速度，但是也同时会消耗掉大量的内存空间。

总之，这些数据结构Inverted Index、Stored Fields、Document Values及其缓存，都在segment内部。

### 搜索发生时 ###

搜索时，Lucene会搜索所有的segment然后将每个segment的搜索结果返回，最后合并呈现给客户。

Lucene的一些特性使得这个过程非常重要：

*  Segments是不可变的（immutable）
 *   *  Delete? 当删除发生时，Lucene做的只是将其标志位置为删除，但是文件还是会在它原来的地方，不会发生改变
     *  Update? 所以对于更新来说，本质上它做的工作是：先删除，然后重新索引（Re-index）
 *  随处可见的压缩
    
    Lucene非常擅长压缩数据，基本上所有教科书上的压缩方式，都能在Lucene中找到。
 *  缓存所有的所有
    
    Lucene也会将所有的信息做缓存，这大大提高了它的查询效率。

###     ###

### 缓存的故事 ###

当ElasticSearch索引一个文件的时候，会为文件建立相应的缓存，并且会定期（每秒）刷新这些数据，然后这些文件就可以被搜索到。

![bd32f81c46c035720e05778d7d280b98.png][]

随着时间的增加，我们会有很多segments，

![07e76cfe474a8f812185d5769dd7fe62.png][]

所以ElasticSearch会将这些segment合并，在这个过程中，segment会最终被删除掉

![6618564ef3efd7f41c42dd25fafafb22.png][]

这就是为什么增加文件可能会使索引所占空间变小，它会引起merge，从而可能会有更多的压缩。

#### 举个栗子 ####

有两个segment将会merge

![511db77370c0984dc319ae94bffe143a.png][]

这两个segment最终会被删除，然后合并成一个新的segment

![8ef5eabfb27c971b544ca1115f7dca00.png][]

这时这个新的segment在缓存中处于cold状态，但是大多数segment仍然保持不变，处于warm状态。

以上场景经常在Lucene Index内部发生的。

![9213e48f285abed27f9d608ec081df0a.png][]

### 在Shard中搜索 ###

ElasticSearch从Shard中搜索的过程与Lucene Segment中搜索的过程类似。

![bb724cb1054bed81394d9e28b485c3ed.png][]

与在Lucene Segment中搜索不同的是，Shard可能是分布在不同Node上的，所以在搜索与返回结果时，所有的信息都会通过网络传输。

需要注意的是：

1次搜索查找2个shard ＝ 2次分别搜索shard

![b714e071f75d7d2429ab1ad2738a5122.png][]

#### 对于日志文件的处理 ####

当我们想搜索特定日期产生的日志时，通过根据时间戳对日志文件进行分块与索引，会极大提高搜索效率。

当我们想要删除旧的数据时也非常方便，只需删除老的索引即可。

![c61d1f88c9cdc861733eae8ba0147e8b.png][]

在上种情况下，每个index有两个shards

###     ###

### 如何Scale ###

![857b5b550394e2d603fc67d611cfd54b.png][]

shard不会进行更进一步的拆分，但是shard可能会被转移到不同节点上

![e14b631c7fda7eaa3a17de608f0af940.png][]

所以，如果当集群节点压力增长到一定的程度，我们可能会考虑增加新的节点，这就会要求我们对所有数据进行重新索引，这是我们不太希望看到的，所以我们需要在规划的时候就考虑清楚，如何去平衡足够多的节点与不足节点之间的关系。

#### 节点分配与Shard优化 ####

*  为更重要的数据索引节点，分配性能更好的机器
 *  确保每个shard都有副本信息replica

![cd0677528286d9f452180f940585ca73.png][]

#### 路由Routing ####

每个节点，每个都存留一份路由表，所以当请求到任何一个节点时，ElasticSearch都有能力将请求转发到期望节点的shard进一步处理。

![1898a13a9f8e6404dc3e8e49ca5c9d1d.png][]

### 一个真实的请求 ###

![9e7e49e72b891b52683871f00947533d.png][]

#### Query ####

![96ac983f24ec4d966a010c4f930c3573.png][]

Query有一个类型filtered，以及一个multi\_match的查询

####     ####

#### **Aggregation** ####

![cbabe21c89043f5aa9d37d45dfcb1d32.png][]

根据作者进行聚合，得到top10的hits的top10作者的信息

####     ####

#### **请求分发** ####

这个请求可能被分发到集群里的任意一个节点

![c49eb86a1656fc0b1c7154ad5faf3fd8.png][]

#### **上帝节点** ####

![935242d289c13db95fa790824947a78d.png][]

这时这个节点就成为当前请求的协调者（Coordinator），它决定：

*  根据索引信息，判断请求会被路由到哪个核心节点
 *  以及哪个副本是可用的
 *  等等

####     ####

#### **路由** ####

![2342a54d746c89514a21547a7910052d.png][]

#### **在真实搜索之前** ####

ElasticSearch 会将Query转换成Lucene Query

![ae0405bc9504b82395e858f382c2a5a0.png][]

然后在所有的segment中执行计算

![b91df3512b26a799b80080e2757c05b0.png][]

对于Filter条件本身也会有缓存

![bdc98c25c14bc5966e1d126a6cabbd2e.png][]

但queries不会被缓存，所以如果相同的Query重复执行，应用程序自己需要做缓存

![3d86d44111ea25d4d411a3c07f37fbe2.png][]

所以，

*  filters可以在任何时候使用
 *  query只有在需要score的时候才使用

####     ####

#### **返回** ####

搜索结束之后，结果会沿着下行的路径向上逐层返回。

![e08eefe19c39cccaab8380f1a1f0322f.png][]

![57f75a136177fd21957a460b224f48a1.png][]

![2245714bed773c87319dc469c6741d6e.png][]

![940a76559eaa8a5e979630bdcbf6fb8a.png][]

![fdda2c5e77d69ff06adf60d50cc6203c.png][]

**![7f2d88727fa70a2da749b2f304b01f1a.gif][]**

**回复**【**干货**】获取精选干货视频教程

**回复**【**加群**】加入疑难问题攻坚交流群

**回复**【**mat**】获取内存溢出问题分析详细文档教程

**回复**【**赚钱**】获取用java写一个能赚钱的微信机器人

**回复**【**副业**】获取程序员副业攻略一份

![1662224d2907988b9b51a59d0f4a7b05.png][]

![db985978cf0207918451abe8ef11ce0f.gif][]

戳这儿

[af4fd1dd0c291ff4b4e1732e6b51730c.png]: /images/20221014/1ef519ba12e04fc5a1dad8420af94362.png
[0d708caed03026d5fd0939cd3598f089.png]: /images/20221014/e55a3807957c4a6eaa38015c00b13df0.png
[53b276c692a9a7551a49ba0d37333c01.png]: /images/20221014/391a38e5d74945e4891a4f4730fe4969.png
[a3871bf6aa2c370479189f46027d42b4.png]: /images/20221014/8c0f269756fa4d55a29b9c52667f427c.png
[ab5494dd2a616b99f59c51a6cb46a693.png]: /images/20221014/7c65b2e461cd481587e5061cc6875c9f.png
[767952ce6cf7e6536d4dbc36851e79ef.png]: /images/20221014/9055e5f7fc2247e8aabf32ed8dc0f61e.png
[3ba23ed588754790b5efb44465f1a655.png]: /images/20221014/5306c84983e04aed98488862bfc9de8f.png
[9545881f255dfa2f45e03dbf35d60133.png]: /images/20221014/918121fe6c4e4979bc042d8b73a227cc.png
[685a0c75b66a99b742674a80e18fb8ab.png]: /images/20221014/98f00f60b5254ef0a9ad1ca8afb8049a.png
[d0534838de2faa49dc5387c6f4644f5d.png]: /images/20221014/6f1db75ec0ec4e54b9f30d95c35ec72c.png
[47f0c8909cda745f1a5ceb299d7a1424.png]: /images/20221014/b4a3a49101a54ba49fb932ab6a7014e8.png
[ad7f1cb7b86881c0efcc16eea7ae6abe.png]: /images/20221014/78c393abb6594887933444af54b72917.png
[b1db5648c5997ae7d80ed8918aaf6683.png]: /images/20221014/24c4b1d3df3343c2aa9b10ed5eb7bbc5.png
[4f14ff8842cdfce88c7e03cdfdec5af9.png]: /images/20221014/6699f607ec364410a016fd85c3e89063.png
[8fb46c0f3b0a3fac3e919642b71128b3.png]: /images/20221014/e83a634aa0274b51bc18bac96a614981.png
[6df816de19b7c2d4116a568f1f69d59f.png]: /images/20221014/75db30663c6c4e6c8ce702be58d8c563.png
[bd32f81c46c035720e05778d7d280b98.png]: /images/20221014/a95c2a5f79794e8d99d5801db3407f7e.png
[07e76cfe474a8f812185d5769dd7fe62.png]: /images/20221014/08463fb2c99a47ad9eef93b1164fccf0.png
[6618564ef3efd7f41c42dd25fafafb22.png]: /images/20221014/76f706f6fed8472c86e4a8e71acad30e.png
[511db77370c0984dc319ae94bffe143a.png]: /images/20221014/c5c215f8273b4faca2160a67ea4296aa.png
[8ef5eabfb27c971b544ca1115f7dca00.png]: /images/20221014/dea420069fe945f596209ff18e7a4096.png
[9213e48f285abed27f9d608ec081df0a.png]: /images/20221014/87c8f2a133bb45f78ec98ed163fea2f7.png
[bb724cb1054bed81394d9e28b485c3ed.png]: /images/20221014/837379155b2140db81a3cf41b31035e4.png
[b714e071f75d7d2429ab1ad2738a5122.png]: /images/20221014/e832ca4b153048309f707e11bb02ada9.png
[c61d1f88c9cdc861733eae8ba0147e8b.png]: /images/20221014/1edc36bd97014734a49c30cc148489c4.png
[857b5b550394e2d603fc67d611cfd54b.png]: /images/20221014/74793ea3807d42c58b07eb5b5de6d060.png
[e14b631c7fda7eaa3a17de608f0af940.png]: /images/20221014/95b04ca47fac47bdb5c3a1b95d9c1dd3.png
[cd0677528286d9f452180f940585ca73.png]: /images/20221014/075deaed9402485693cfc1d992f592b5.png
[1898a13a9f8e6404dc3e8e49ca5c9d1d.png]: /images/20221014/af15b3abcf2248da83adc92ee1efe5aa.png
[9e7e49e72b891b52683871f00947533d.png]: /images/20221014/9a2555c57bba421ca957be92096231b2.png
[96ac983f24ec4d966a010c4f930c3573.png]: /images/20221014/008f6e33e13b4a9199bc901ec2525eef.png
[cbabe21c89043f5aa9d37d45dfcb1d32.png]: /images/20221014/4a700ec9c07f4ad3903f6c82777e59a3.png
[c49eb86a1656fc0b1c7154ad5faf3fd8.png]: /images/20221014/bf52bb0fdb3f438b9b69f71371b1353b.png
[935242d289c13db95fa790824947a78d.png]: /images/20221014/4cf20f29ba87484d9ebdae4a856efcab.png
[2342a54d746c89514a21547a7910052d.png]: /images/20221014/1ff0b14eadf6479fba0d8dc1b9c00739.png
[ae0405bc9504b82395e858f382c2a5a0.png]: /images/20221014/6c919438313b4311a43fd9aae6660edd.png
[b91df3512b26a799b80080e2757c05b0.png]: /images/20221014/cd89a7cc2f1440da91df7ae6eaebaf54.png
[bdc98c25c14bc5966e1d126a6cabbd2e.png]: /images/20221014/ee5b0d3648c04b909b053382d8114e55.png
[3d86d44111ea25d4d411a3c07f37fbe2.png]: /images/20221014/3d5f2a92b4fb445c8985b1c88e2ee10c.png
[e08eefe19c39cccaab8380f1a1f0322f.png]: /images/20221014/2491076e8cec463590024e44f707328f.png
[57f75a136177fd21957a460b224f48a1.png]: /images/20221014/3e23ec95d9994df4a958bb4e70eb7707.png
[2245714bed773c87319dc469c6741d6e.png]: /images/20221014/6c9cff4550aa4b90a973bab0ea5e9b5c.png
[940a76559eaa8a5e979630bdcbf6fb8a.png]: /images/20221014/784c927753f34556a594e5ed747902d1.png
[fdda2c5e77d69ff06adf60d50cc6203c.png]: /images/20221014/b8523330eea8407f9a4049cceaa57d2b.png
[7f2d88727fa70a2da749b2f304b01f1a.gif]: /images/20221014/89aa8713bbc842f18e96ea34ab3e1bde.png
[1662224d2907988b9b51a59d0f4a7b05.png]: /images/20221014/a8466dcba0374f0b8a962c4d1ec14fd9.png
[db985978cf0207918451abe8ef11ce0f.gif]: /images/20221014/0b8783da694b41eb9b648d1f206edc1a.png