ElasticSearch学习之(四)--进一步认识ElasticSearch

港控/mmm° 2021-10-18 11:24 706阅读 0赞

### 一.ElasticSerarch概述 ###

**ElasticSearch起源**

ElasticSearch起源于Lucene基于Java语言开发的搜索引擎类库创建于1999年，2005年成为Apache顶级开源项目。Lucene优点：高性能、易扩展。Lucene 局限性：只能基于Java语言开发、类库学习曲线陡峭、原生不支持水平扩展

**ElasticSearch诞生**

2004年ShayBanon基于Lucene开发了Compass2010年ShayBanon重写了Compass，取名ElasticSearch

①支持分布式，可水平扩展

②提供restful接口，降低全文检索学习曲线，可以被任何编程语言调用

ElasticSearch版本升级参考：**https://www.elastic.co/cn/downloads/past**

0.4：2010年2月    1.0：2014年1月     2.0：2015年10月     5.0：2016年10月     6.0：2017年10月    7.0：2019年4月

**新特性5.X**

基于Lucene6.X，性能提升；默认打分公示从TF-IDF 改为 BM25；Type 被标记为 deprecated，支持 keyword 类型；支持 ingest 节点、completion suggested支持、原生的 java rest 客户端。

性能优化

①内部引擎移除了避免同一文档并发更新的竞争锁，带来 15% -20% 的性能提升；

②新增 profile api

③ instant aggregation，支持分片上聚合的缓存

**新特性6.X**

基于 Lucene7.X  ，增加新功能：跨级群复制、索引生命周期管理、SQL 支持；更友好的升级和数据迁移；

性能优化

①有效存储稀疏字段的新方法，降低了存储成本

②在索引时进行排序，可加快排序的查询性能

**新特性7.X**

基于 Lucene8.X， 重大改进：—、正式废除单索引多 type 结构；二、从 7.1 开始安全认证的核心功能免费试用；三、支持 k8s 部署；

性能优化

①默认主分片数从 5 改为 1 ，避免 over sharding；

②更快的 top K

**Elastic Stack产品生态圈**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70][]

### 二.ElasticSearch应用场景 ###

1、例如一个网上商店，你允许你的顾客搜索你卖的产品。在这种情况下，您可以使用Elasticsearch来存储整个产品目录和库存，并为它们提供搜索和自动完成建议。

![20190812183117900.png][]

2、如果是收集日志或数据聚合处理，并希望分析和挖掘这些数据，以查找趋势、统计、汇总或异常。在这种情况下，你可以使用ELK (Elasticsearch/ logstach/Kibana)来收集、聚合和解析数据，通过logstach的日志搜集和配置，可以同步至ES里面。一旦数据在Elasticsearch中，你就可以通过Kibanad 的图形化界面运行搜索和聚合来挖掘你感兴趣的任何信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 1][]

3、类似价格警报平台，允许精通价格的客户指定如下规则:“我有兴趣购买特定的电子设备，如果下个月任何供应商的产品价格低于X美元，我希望得到通知”。在这种情况下，你可以抓取供应商的价格，将它们推入到Elasticsearch中，并使用其反向搜索(Percolator)功能来匹配价格走势与客户查询，并最终在找到匹配后将警报推送给客户。

4、对于分析/业务智能需求，并希望快速调查、分析、可视化，并对大量数据提出特别问题(想想数百万或数十亿的记录)。在这种情况下，你可以使用Elasticsearch来存储数据，还可以使用Elasticsearch聚合功能对数据执行复杂的业务智能查询。

5、当然在日常的开发中可以根据自己的业务需求一些要求响应速度的、数据量大的（至少千万级以上百万级就是杀鸡用牛刀）可以考虑ES，前提是需要有额外的硬件支持。

**总体概括就是**：

ElasticSearch分布式架构：集群规模可以从单个扩展到数百个节点，高可用，水平扩展，支持不同的节点类型；

ElasticSearch分布式特性

高可用、服务可用性：

① 允许节点停止服务，数据可用性；

② 允许节点丢失，不会丢失数据；

③ 可扩展，数据的不断增长，存储的水平扩容

**ElasticSearch主要功能**

① 海量数据的分布式存储和集群管理、服务和数据的高可用 & 水平扩展

② 近实时搜索，性能好、结构化、全文、地理位置、自动完成

③ 海量数据的近实时分析、聚合

### 三.ElasticSearch核心概念 ###

**Near Realtime (NRT)**

Elasticsearch是一个近乎实时的搜索平台。这意味着从索引文档到可以搜索的时间只有轻微的延迟（通常是1秒）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 2][]

**Cluster**

集群是一个或多个节点(服务器)的集合，它们共同保存你的整个数据，并提供跨所有节点的联合索引和搜索功能。一个集群由一个唯一的名称标识，默认这个唯一标识的名称是"elasticsearch"。这个名称很重要，因为如果节点被设置为按其名称加入集群，那么节点只能是集群的一部分。

确保不要在不同的环境中用相同的集群名称，否则可能导致节点加入到错误的集群中。例如，你可以使用"logging-dev", "logging-test", "logging-prod"分别用于开发、测试和正式集群的名字。

**Node**

节点是一个单独的服务器，它是集群的一部分，存储数据，并参与集群的索引和搜索功能。就像集群一样，节点由一个名称来标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。如果不想用默认的节点名，可以定义任何想要的节点名。这个名称对于管理来说很重要，因为你希望识别网络中的哪些服务器对应于你的Elasticsearch集群中的哪些节点。

一个节点可以通过配置集群名称来加入到一个特定的集群中。默认情况下，每个节点都被设置加入到一个名字叫"elasticsearch"的集群中，这就意味着如果你启动了很多个节点，并且假设它们彼此可以互相发现，那么它们将自动形成并加入到一个名为"elasticsearch"的集群中。

一个集群可以有任意数量的节点。此外，如果在你的网络上当前没有运行任何节点，那么此时启动一个节点将默认形成一个单节点的名字叫"elasticsearch"的集群。

**Index**

索引是具有某种相似特征的文档的集合。例如，你可以有一个顾客数据索引，产品目录索引和订单数据索引。索引有一个名称（必须是小写的）标识，该名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引。一个index 包含多个一类或者相同的 document 。而在ES 7.x版本以前，一个index 可以有一个或者多个 type ，type 是作为index 里面的逻辑分类存在的，一个type下可以有多个document，每个type下的document可以不同。

type：日化type、电器type、生鲜type
    日化type: product_id、product_name、product_desc、category_name、save_period
    电器type: product_id、product_name、product_desc、category_name、service_period   
    生鲜type: product_id、product_name、product_desc、category_name、eat_period
    {
        "product_id" : "1",
        "product_name" : "舒克牙膏",
        "product_desc" : "高效美白",
        "category_name" : "日化",
        "save_period" : "2年"
    }
    {
        "product_id" : "3",
        "product_name" : "FSL照明",
        "product_desc" : "高亮长寿命",
        "category_name" : "电器工具",
        "service_period" : "1年"
    }
    {
        "product_id" : "5",
        "product_name" : "毛毛虫面包",
        "product_desc" : "松软可口",
        "category_name" : "蛋糕",
        "eat_period" : "7天"
    }

**Document & field**

文档是可以被索引的基本信息单元，也是ES中的最小的数据单元，一个document 可以是一条客户信息、一条商品数据、一条订单数据等等。类似数据库表中的一条数据，但是document 文档使用JSON表示。每一个index 下的 type 类型下面可以有多个document ，一个document里面可以包含多个field ，而每个field 就是一个数据字段。

product document DEMO:
    {
        "product_id" : "1",
        "product_name" : "舒克牙膏",
        "product_desc" : "高效美白",
        "product_num" : "1",
        "category_type" : "1",
        "category_name" : "日化",
    }

**Shards & Replicas**

一个索引可能存储大量数据，这些数据可以超过单个节点的硬件限制。例如，一个包含10亿条文档占用1TB磁盘空间的索引可能不适合在单个节点上，或者可能太慢而不能单独处理来自单个节点的搜索请求。

为了解决这个问题，Elasticsearch提供了将你的索引细分为多个碎片（或者叫分片）的能力。在创建索引时，可以简单地定义所需的分片数量。每个分片本身就是一个功能完全独立的“索引”，可以驻留在集群中的任何节点上。

分片之所以重要，主要有两个原因：

它允许你水平地分割/扩展内容卷  
它允许你跨分片（可能在多个节点上）分布和并行操作，从而提高性能和吞吐量  
在一个网络/云环境中随时都有可能出现故障，强烈推荐你有一个容灾机制。Elasticsearch允许你将一个或者多个索引分片复制到其它地方，这被称之为副本。

复制之所以重要，有两个主要原因：

它提供了在一个shard/node失败是的高可用性。出于这个原因，很重要的一个点是一个副本从来不会被分配到与它复制的原始分片相同节点上。也就是说，副本是放到另外的节点上的。  
它允许扩展搜索量/吞吐量，因为搜索可以在所有副本上并行执行。  
总而言之，每个索引都可以分割成多个分片。索引也可以被复制零(意味着没有副本)或更多次。一旦被复制，每个索引都将具有主分片(被复制的原始分片)和副本分片(主分片的副本)。在创建索引时，可以为每个索引定义分片和副本的数量。创建索引后，您可以随时动态地更改副本的数量，但不能更改事后分片的数量。

在默认情况下，Elasticsearch中的每个索引都分配了5个主分片，每个主分片对应1个副本，这意味着如果集群中至少有两个节点，那么索引将有5个主分片和另外5个副本分片（PS：这5个副本分片组成1个完整副本），每个索引总共有10个分片。

（画外音：副本是针对索引而言的，同时需要注意索引和节点数量没有关系，我们说2个副本指的是索引被复制了2次，而1个索引可能由5个分片组成，那么在这种情况下，集群中的分片数应该是 5 × (1 + 2) = 15 ）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 3][]

ES----数据库

document----行

type----表

index----数据库 ，这样通过数据库层面更容易理解ES。

**如有披露或问题欢迎留言或者入群探讨**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70]: /images/20211018/86712e146f29493a8745e6b4bb8a1356.png
[20190812183117900.png]: /images/20211018/4a68b0b0be494e53b2c341412cbb25a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 1]: /images/20211018/75be6bc92f3845d5b6b6bf2c0646c90f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 2]: /images/20211018/c92f67d797de4f388138ef607047a690.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 3]: /images/20211018/d76ea5989fc24956afd7b96fe16d8842.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70 4]: /images/20211018/3bb67bbfa465453e991490476070d780.png