ELK之Logstash-shipper获取日志数据

深碍√TFBOYSˉ_ 2023-06-17 05:53 88阅读 0赞

Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地...

此时是logstash的左右是两部分,一是:接收来自微服务的日志推送,可以是tcp直接传输,也可以是日志文件;实践是通过tcp连接传输日志.二是推送出日志文件到redis中..

logstash的安装,就普通默认安装就好了...没其他要说的...

此时需要在bin的同级目录中创建conf文件夹,conf下创建touch logstash.conf文件;编写配置文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70][]

此时的配置项为配置内容,启动时需要指定到该配置文件,才能生效.

nohup ./bin/logstash -f conf/logstash.conf &启动

logstash三要素:

input,filter和output...

input指定数据从哪里来,

filter对数据进行过滤处理

output指定将处理后的数据发送到哪里去.

这里tcp是input的插件

mode:可选server或client.server表示监听客户端连接;client表示去连接server

host:监听的server

port:监听的端口

codec:对输入数据进行编解码,转换格式,这样就不需要在filter中做这个事儿..."json\_lines"是对有换行符("\\n")的json串进行编解码."json"是对没有换行符json串进行编解码;

redis是output的插件:

data\_type:可选list,channel或pattern\_channel..此时使用的是list,后面redis客户端使用的时候的命令就是blpop命令处理redis内的元素.

host:redis server 的地址

key:即存储该list的key值

logstash作为shipper使用的时候,简单的配置就这么多.后续的更多配置,慢慢学习;

//todo

logstash配置

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019112717292742.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，88人围观）

还没有评论，来说两句吧...

相关阅读

相关 ELK 日志收集

文章目录方案部署 FileBeat helm部署 yaml 部署部署 Elastic 安装 eck

我会带着你远行/ 2024年04月03日 06:53/ 0 赞/ 259 阅读

相关日志收集技术之ELK

目录 ELK基础知识 [什么是ELK![icon-default.png_t_N176][]https://mp.csdn.net/mp\_blog/creation/ed

亦凉/ 2024年03月26日 15:47/ 0 赞/ 230 阅读

相关数据采集 | 分布式日志采集-ELK方案设计

前言分布式日志采集在比较大型的项目中经常用到，用来采集分析用户/系统产生的海量日志但是在微服务架构下每个提供者（provider）都要收集其日志，需要安装采集

一时失言乱红尘/ 2023年07月22日 02:44/ 0 赞/ 109 阅读

相关 ELK 日志系统

Elastic 官方文档：[https://www.elastic.co/guide/index.html][https_www.elastic.co_guide_ind

青旅半醒/ 2023年06月24日 14:25/ 0 赞/ 140 阅读

相关 ELK之Logstash-shipper获取日志数据

Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地... 此时是log

深碍√TFBOYSˉ_/ 2023年06月17日 05:53/ 0 赞/ 89 阅读

相关 ELK之日志来源微服务

ELK分析的是日志,日志本身是应用服务器产生的各种业务日志及留痕日志,方便后期进行追溯及查看分析; 真正开发到一定层次的人,业务就是基本中的最基本的了.....更

╰半橙微兮°/ 2023年06月17日 05:52/ 0 赞/ 77 阅读

相关 elk日志上报

（一）ELK介绍： Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案 Logstash：负责日志的收集，处理和储存

分手后的思念是犯贱/ 2022年10月01日 00:47/ 0 赞/ 323 阅读

相关 ELK日志系统

作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日

本是古典何须时尚/ 2022年06月14日 23:55/ 0 赞/ 439 阅读

相关 ELK日志分析Kibana——数据图形化制作

摘要： Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构注意看一下,上面缩看的界面,是一个聚合的结果,他是由CPU Usage图表、System L

墨蓝/ 2022年05月29日 02:05/ 0 赞/ 581 阅读

相关 ELK(12)：ELK+kafka(日志量中等)

ELK(12)：ELK+kafka(日志不太多) 我们先用logstash读取Nginx日志和系统日志写入kafka，再用logstash读取出来写入elasticsea

超、凢脫俗/ 2021年10月29日 15:12/ 0 赞/ 465 阅读