从0开始搭建ELK日志收集系统

短命女 2023-10-02 22:59 7阅读 0赞

#### Elasticsearch ####

*  elasticsearch是一个高度可扩展全文搜索和分析引擎，基于Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

#### Logstash ####

*  数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；支持普通log、自定义json格式的日志解析。

#### Kibana ####

*  数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。

### 1.上传软件包 ###

*  elasticsearch-5.6.16-linux-x86\_64.tar.gz
 *  kibana-5.6.16-linux-x86\_64.tar.gz
 *  logstash-5.6.16.tar.gz

注意此三个包需要版本一致才可以

![8db634ee8d1c428795d92db4e1b0ae8e.png][]

### 2.安装elasticsearch ###

进入到你上传的目录

> cd /opt

解压安装包

> tar -zxvf elasticsearch-5.6.16-linux-x86\_64.tar.gz
> 
> 若为zip使用
> 
> unzip elasticsearch-5.6.16.zip

进入配置文件修改配置

> vi elasticsearch-5.6.16/config/elasticsearch.yml

添加如下配置

若为集群

cluster.name: ELK-Cluster    #ELK的集群名称，名称相同即属于是同一个集群
    node.name: elk-node1    #本机在集群内的节点名称
    path.data: /ELK/elasticsearch/data    #数据存放目录
    path.logs: /ELK/elasticsearch/data/log    #日志保存目录
    bootstrap.memory_lock: true    #服务启动的时候锁定足够的内存，防止数据写入swap
    network.host: 10.77.169.2    #监听的IP地址
    http.port: 9200    #服务监听的端口
    discovery.seed_hosts: ["10.77.169.2", "10.77.19.4"]   #单播配置一台即可
    cluster.initial_master_nodes: ["elk-node1", "elk-node2"]

若为单机

network.host: 0.0.0.0
    http.port: 9200
    http.cors.enabled: true
    http.cors.allow-origin: "*"

配置内存限制

> vim jvm.options

修改内存大小如下

> \-Xms2g
> 
> \-Xmx2g

创建用户及其数据目录

> 创建elsearch用户组及elsearch用户
> 
>  *  groupadd elsearch
>  *  useradd elsearch -g elsearch -p elasticsearch
> 
> 更改elasticsearch-5.6.16文件夹及内部文件的所属用户及组为elsearch:elsearch
> 
>  *  cd切换到elasticsearch-5.6.16的父路径下
>  *  chown -R elsearch:elsearch elasticsearch-5.6.16
> 
> 切换到elsearch用户再启动
> 
>  *  su elsearch
>  *  cd elasticsearch-5.6.16/bin
>  *  sh elasticsearch &
> 
> 创建数据目录
> 
>  *  mkdir -p /ELK/elasticsearch/\{data,data/log\}

使用es-head插件查看是否成功

![10da8b6fc13b49b8b4d3b73a3cbda3ec.png][]

若启动报错，则需要修改内核配置

[root@localhost bin]# vim /etc/security/limits.conf

配置如下：

* soft nofile 65536
    * hard nofile 131072
    * soft memlock unlimited
    * hard memlock unlimited

--------------------

**修改最大线程数**

[root@localhost bin]# vim /etc/security/limits.d/20-nproc.conf

配置如下：

*     soft    nproc    unlimited

--------------------

[root@localhost bin]# vim /etc/sysctl.conf

配置如下：

vm.max_map_count = 655360

令配置生效：

[root@localhost bin]# sysctl -p
    [root@localhost bin]# reboot

### 3.Logstash部署 ###

解压安装包

> tar -zxvf logstash-5.6.16.tar.gz

创建配置文件

> touch logstash-5.6.16/bin/config/logstash-nginx.conf

添加配置文件如下,根据nginx和ongodb的路径创建配置

input {
        file {
            path => "/usr/local/nginx/logs/*.log"
            start_position => beginning
            type => "nginx"
        }
        file {
            path => "/usr/local/mongodb3/logs/*.log"
            start_position => beginning
            type =>"mongodb"
        }
    }
    filter {
    
    }
    output {
        if[type] == "nginx"{
            elasticsearch {
                hosts => "10.77.169.4:9200"
                index => "nginx-%{+YYYY.MM.dd}"
            }
        }
        if[type] == "mongodb"{
             elasticsearch {
                hosts => "10.77.169.4:9200"
                index => "mongodb-%{+YYYY.MM.dd}"
            }
    
        }
    }

使用刚才创建的配置文件启动logstash

> sh logstash -f ../config/logstash-nginx.conf &

验证是否成功

![6085c18ef28c4ff9a62888425dcc0fdd.png][]

见上方已经创建了两个索引，成功

### 4.部署kibana ###

解压

> tar -zxvf kibana-5.6.16-linux-x86\_64.tar.gz

进入配置文件

> vi kibana.yml

添加如下配置

server.port: 5601    #监听端口
    server.host: "10.77.169.4"    #自己的地址
    elasticsearch.hosts: ["http://10.77.169.2:9200","http://10.77.169.4:9200"] #elasticsearch服务器地址
    i18n.locale: "zh-CN"    #修改为中文

若使用单机

server.port: 5601
    server.host: "0.0.0.0"
    elasticsearch.url: "http://localhost:9200"
    kibana.index: ".kibana"

注意，低版本无法修改为中文，只能使用插件修改为中文

cd命令进入bin目录，

> sh kibana &

输入ip:5601查看是否成功

![5b6e94eb78704d14a40c9be4d2cc6db2.png][]

[8db634ee8d1c428795d92db4e1b0ae8e.png]: https://img-blog.csdnimg.cn/8db634ee8d1c428795d92db4e1b0ae8e.png
[10da8b6fc13b49b8b4d3b73a3cbda3ec.png]: https://img-blog.csdnimg.cn/10da8b6fc13b49b8b4d3b73a3cbda3ec.png
[6085c18ef28c4ff9a62888425dcc0fdd.png]: https://img-blog.csdnimg.cn/6085c18ef28c4ff9a62888425dcc0fdd.png
[5b6e94eb78704d14a40c9be4d2cc6db2.png]: https://img-blog.csdnimg.cn/5b6e94eb78704d14a40c9be4d2cc6db2.png