Elasticsearch--- 基本概念(Index、Type、Document、集群、节点、分片及副本、倒排索引)

今天药忘吃喽~ 2023-07-18 06:14 26阅读 0赞

这篇博客讲到基本概念包括: **Index、Type、Document。集群，节点，分片及副本，倒排索引**。

## **一、Index、Type、Document** ##

**1、Index**

`index`：索引是文档(Document)的容器，是一类文档的集合。

**索引**这个词在 ElasticSearch 会有三种意思:

**1)、索引(名词)**

类比传统的关系型数据库领域来说，`索引相当于SQL中的一个数据库(Database)`。索引由其名称(**必须为全小写字符**)进行标识。

**2)、索引(动词)**

`保存一个文档到索引(名词)的过程`。这非常类似于SQL语句中的 INSERT关键词。如果该文档已存在时那就相当于数据库的UPDATE。

**3)、倒排索引**

关系型数据库通过增加一个**B+树索**引到指定的列上，以便提升数据检索速度。索引ElasticSearch 使用了一个叫做 `倒排索引` 的结构来达到相同的目的。

**2、Type**

`Type` 可以理解成关系数据库中Table。

之前的版本中，索引和文档中间还有个类型的概念，每个索引下可以建立多个类型，文档存储时需要指定index和type。从6.0.0开始单个索引中只能有一个类型，

7.0.0以后将将不建议使用，8.0.0 以后完全不支持。

**弃用该概念的原因：**

我们虽然可以通俗的去理解Index比作 SQL 的 Database，Type比作SQL的Table。但这并不准确，因为如果在SQL中,Table 之前相互独立，同名的字段在两个表中毫无关系。

但是在ES中，同一个Index 下不同的 Type 如果有同名的字段，他们会被 Luecence 当作同一个字段 ，并且他们的定义必须相同。所以我觉得Index现在更像一个表，

而Type字段并没有多少意义。目前Type已经被Deprecated，在7.0开始，一个索引只能建一个Type为`_doc`

**3、Document**

`Document` Index 里面单条的记录称为Document（文档）。**等同于关系型数据库表中的行**。

我们来看下一个文档的源数据

![format_png][]

`_index` 文档所属索引名称。

`_type` 文档所属类型名。

`_id` Doc的主键。在写入的时候，可以指定该Doc的ID值，如果不指定，则系统自动生成一个唯一的UUID值。

`_version` 文档的版本信息。Elasticsearch通过使用version来保证对文档的变更能以正确的顺序执行，避免乱序造成的数据丢失。

`_seq_no` 严格递增的顺序号，每个文档一个，Shard级别严格递增，保证后写入的Doc的`_seq_no`大于先写入的Doc的\_seq\_no。

`primary_term` primary\_term也和`_seq_no`一样是一个整数，每当Primary Shard发生重新分配时，比如重启，Primary选举等，\_primary\_term会递增1

`found` 查询的ID正确那么ture, 如果 Id 不正确，就查不到数据，found字段就是false。

`_source` 文档的原始JSON数据。

## **二、集群，节点，分片及副本** ##

**1、集群**

ElasticSearch集群实际上是一个分布式系统，它需要具备两个特性：

1）`高可用性`

a）服务可用性：允许有节点停止服务；

b）数据可用性：部分节点丢失，不会丢失数据；

2）`可扩展性`

随着请求量的不断提升，数据量的不断增长，系统可以将数据分布到其他节点，实现水平扩展；

**一个集群中可以有一个或者多个节点**；

**集群健康值**

1.  `green`：所有主要分片和复制分片都可用
2.  `yellow`：所有主要分片可用，但不是所有复制分片都可用
3.  `red`：不是所有的主要分片都可用

当集群状态为 red，它仍然正常提供服务，它会在现有存活分片中执行请求，我们需要尽快修复故障分片，防止查询数据的丢失；

**2、节点(Node)**

1）**节点是什么？**

a）节点是一个ElasticSearch的实例，其本质就是一个Java进程；

b）一台机器上可以运行多个ElasticSearch实例，但是建议在生产环境中一台机器上只运行一个ElasticSearch实例；

Node 是组成集群的一个单独的服务器，用于存储数据并提供集群的搜索和索引功能。与集群一样，节点也有一个唯一名字，默认在节点启动时会生成一个uuid作为节点名，

该名字也可以手动指定。单个集群可以由任意数量的节点组成。如果只启动了一个节点，则会形成一个单节点的集群。

**3、分片**

`Primary Shard(主分片）`

ES中的shard用来解决节点的容量上限问题,，通过主分片，可以将数据分布到集群内的所有节点之上。

它们之间关系

一个节点对应一个ES实例； 一个节点可以有多个index（索引）; 一个index可以有多个shard（分片）； 　一个分片是一个lucene index（此处的index是lucene自己的概念，与ES的index不是一回事）；

`主分片数是在索引创建时指定，后续不允许修改，除非Reindex`

一个索引中的数据保存在多个分片中(默认为一个)，相当于水平分表。一个分片便是一个Lucene 的实例，它本身就是一个完整的搜索引擎。我们的文档被存储和索引到分片内，

但是应用程序是直接与索引而不是与分片进行交互。

`Replica Shard（副本）`

副本有两个重要作用：

1、**服务高可用**：由于数据只有一份,如果一个node挂了,那存在上面的数据就都丢了,有了replicas,只要不是存储这条数据的node全挂了,数据就不会丢。因此分片副本不会与

主分片分配到同一个节点；

2、**扩展性能**：通过在所有replicas上并行搜索提高搜索性能.由于replicas上的数据是近实时的(near realtime),因此所有replicas都能提供搜索功能,通过设置合理的replicas

数量可以极高的提高搜索吞吐量

`分片的设定`

对于生产环境中分片的设定，需要提前做好容量规划，因为主分片数是在索引创建时预先设定的，后续无法修改。

**分片数设置过小**

导致后续无法增加节点进行水平扩展。

导致分片的数据量太大，数据在重新分配时耗时；

**分片数设置过大**

影响搜索结果的相关性打分，影响统计结果的准确性；

单个节点上过多的分片，会导致资源浪费，同时也会影响性能；

## **三、倒排索引** ##

ES的搜索功能是基于lucene,而lucene搜索的基本原理就是倒叙索引,`倒序排序的结果跟分词的类型有关`。

`举例`

1、假设文档集合包含五个文档，毎个文档内容如图所示，在图中最左端一栏是每个文档对应的文挡编号。

如图(盗图）

![format_png 1][]

2、首先要用分词系统将文挡自动切分成单词序列，记录下哪些文挡包含这个单词，在如此处理结束后，我们可以得到最简单的倒排索引。

![format_png 2][]

3、索引系统还可以记录除此之外的更多信息，下图还记载了单词频率信息。文档中的句子被划分为一个个term(term 用来表示一个单词或词语,`取决于使用的分词方式`),

`倒叙索引`中存储着term,term的出现频率(tf,term frequency)和出现位置(`倒叙索引中的单词是按顺序排列的,这张图没有体现出来`),请注意这里的文档内容是document

中的一个字段,也就是说每个被索引了的字段都有自己的倒叙索引

![format_png 3][]

**一次简单的搜索流程**

假设我们搜索`谷歌地图之父`,搜索流程会是这样

1.  分词,分词插件将句子分为3个term `谷歌`,`地图`,`之父`
2.  将这3个term拿到倒叙索引中去查找(会很高效,比如二分查找),如果匹配到了就拿对应的文档id,获得文档内容

**但是,如何确定结果顺序?**

这里要引入\_score的概念,对于term的匹配,lucene会对其打分,得分越高,排名越靠前.这里要介绍几个相关的概念

- TF(term frequency),词频,term在当前document中出现的频率,一个term在当前document中出现5次要比出现1次更相关,打分也会更高 - IDF(inverse doucment frequency),逆向文档频率,term在所有document中出现的频率,这个频率越高,该term对应的分值越低 - 字段长度归一值,简单来说就是字段越短,字段的权重越高, 比如 term `我`在匹配 `我123`和`我123456`时,`我123`的得分会更高.

\#\#\# 参考

1、Elasticsearch核心技术与实战---阮一鸣(eBay Pronto平台技术负责人

2、[ElasticSearch 基本概念][ElasticSearch]

3、[Elasticsearch之基础概念][Elasticsearch]

4、[ElasticSearch第5节 倒排索引、分词器][ElasticSearch_5_]

我相信，无论今后的道路多么坎坷，只要抓住今天，迟早会在奋斗中尝到人生的甘甜。抓住人生中的一分一秒，胜过虚度中的一月一年！(8）

[format_png]: /images/20230528/c52dceffd354487f9f75aedae84136a7.png
[format_png 1]: /images/20230528/72354bc6ad2b4cf2a34fabf890cd4a81.png
[format_png 2]: /images/20230528/138994113ea34476ab675c1f07b6b965.png
[format_png 3]: /images/20230528/26f7007845984f06af873e5c12a8ecf8.png
[ElasticSearch]: https://www.jianshu.com/p/b261373088be
[Elasticsearch]: https://www.jianshu.com/p/d68197bc7def
[ElasticSearch_5_]: https://www.jianshu.com/p/1df1c5502425