ELK (集中式日志管理)

柔情只为你懂 2023-06-15 06:45 67阅读 0赞

# 一、ELK协议栈介绍及体系结构 #

ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为ELK协议栈  
![image.png][]

# 二、ELK 之 Elasticsearch简介 #

Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene基础上的搜索引擎，使用Java语言编写

主要特点：

a、实时分析
    b、分布式实时文件存储，并将每一个字段都编入索引
    c、文档导向，所有的对象全部是文档
    d、高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）
    e、接口友好，支持 JSON

# 三、ELK 之 Logstash #

Logstash 是一个具有实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其作者是世界著名的运维工程师乔丹西塞 (JordanSissel)  
主要特点：

a、几乎可以访问任何数据
    b、可以和多种外部应用结合
    c、支持弹性扩展

# 四、ELK 之 Kibana #

Kibana是一款基于 Apache开源协议，使用 JavaScript语言编写，为 Elasticsearch提供分析和可视化的 Web 平台。它可以在Elasticsearch的索引中查找，交互数据，并生成各种维度的表图.

# 五、ELK 之 Filebeat #

ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder源代码开发，是对它的替代。在需要采集日志数据的 server 上安装Filebeat，并指定日志目录或日志文件后，Filebeat就能读取数据，迅速发送到Logstash进行解析，亦或直接发送到 Elasticsearch进行集中式存储和分析。

# 六、ELK 体系结构 #

#### 最简单架构 ####

在这种架构中，只有一个 Logstash、Elasticsearch 和 Kibana 实例。Logstash 通过输入插件
    从多种数据源（比如日志文件、标准输入 Stdin 等）获取数据，再经过滤插件加工数据，
    然后经 Elasticsearch 输出插件输出到 Elasticsearch，通过 Kibana 展示

![image.png][image.png 1]

#### 第一次扩展：Logstash 作为日志搜集器 ####

这种架构是对上面架构的扩展，把一个 Logstash 数据搜集节点扩展到多个，分布于多台机器，
    将解析好的数据发送到 Elasticsearch server 进行存储，最后在 Kibana 查询、生成日志报表等。
    
    这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，
    所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。

![image.png][image.png 2]

#### 第二次扩展：Beats 作为日志搜集器 ####

这种架构引入 Beats 作为日志搜集器。
    Beats 将搜集到的数据发送到 Logstash，经 Logstash 解析、过滤后，将其发送到 Elasticsearch存储，并由 Kibana 呈现给用户。

![image.png][image.png 3]

#### 第三次扩展：基于 Filebeat 架构的配置部署详解 ####

前面提到 Filebeat 已经完全替代了 Logstash-Forwarder 成为新一代的日志采集器，
    同时鉴于它轻量、安全等特点，越来越多人开始使用它。

![image.png][image.png 4]

#### 第四次扩展：引入消息队列机制的架构 ####

Beats 还不支持输出到消息队列，所以在消息队列前后两端只能是 Logstash 实例。
    这种架构使用 Logstash 从各个数据源搜集数据，然后经消息队列输出插件输出到消息队列中。
    目前 Logstash 支持 Kafka、Redis、RabbitMQ 等常见消息队列。
    然后 Logstash 通过消息队列输入插件从队列中获取数据，分析过滤后经输出插件发送到 Elasticsearch，
    最后通过 Kibana 展示
    
    
    这种架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和 Elasticsearch 的负荷比较重，
    可将他们配置为集群模式，以分担负荷。引入消息队列，均衡了网络传输，从而降低了网络闭塞，
    尤其是丢失数据的可能性，但依然存在 Logstash 占用系统资源过多的问题。

![image.png][image.png 5]

[image.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS0wYjI3NTg3NGZhNWViNGZjLnBuZw?x-oss-process=image/format,png
[image.png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS1mNzYxZjQ1NWFkNDIxZWQ5LnBuZw?x-oss-process=image/format,png
[image.png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS00OWM3MzNhMzc1M2U2ODZiLnBuZw?x-oss-process=image/format,png
[image.png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS00NWEzOWUxOWU3ZWUzOTg4LnBuZw?x-oss-process=image/format,png
[image.png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS0zNzVjZDdmMDNjMTZjZmIzLnBuZw?x-oss-process=image/format,png
[image.png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODg4NTUzOS05ZGI4NGYzZTk1NWU4ZTM0LnBuZw?x-oss-process=image/format,png