环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

约定不等于承诺〃 2023-10-08 10:56 36阅读 0赞

随着公司日益增长的业务，日志增长较快，各种bug层出不穷。为了快速定位问题以及做告警/数据分析等问题，就针对性的查看/搭建了几种日志服务系统。

可能整理的不是那么正确或者详尽。但也记录一下，方便日后回顾时补充或者参考。

对于整个日志服务的规划大概如下：

![format_png][]

不同日志服务框架对比

阿里系

其他

编号

(一)Logtail

(二)Appender

(三)ELK

(四)Hadoop

(五)Splunk

费用

按量收费

开源

商业版

日志接入方式

服务端

安装logtail服务端,配置采集源

无

logstash

—

Splunk服务端

客户端

安装logtail客户端

替换log4j并配置

logstash-forwarder

—

Splunk客户端

搭建难度

按照教程配置

简单

开源相关软件全部安装

官网下载后破解

分布式支持

支持

–

支持

数据范围

增量数据

全量数据

数据采集

方式

目标机器 -> 服务端 服务端 -> 阿里云

目标机器 -> 阿里云

目标机器 -> 服务端 (logstash -> ElasticSearch)

目标机器 -> 服务端

目标机器 -> 服务端 (forward -> server)

传输格式

极简/分隔符/JSON格式

原内容

过滤后/JSON格式

可过滤

过滤后的索引文件

监控

logtail有控制台

无

logstash可监控

flume

Splunk forward

可靠性(数据丢失率)

高

数据迁移/硬盘增加\[指日志数据\]

监控增加目录配置

–

数据查询

查看\[图形化界面\]

阿里后台

kibana

分析结果入库查询？

服务端web控制台

权限

阿里账号

权限可分配

？

权限可分配

语法

大同小异

数据处理

扩展

局限于阿里云系列产品

插件

？

图形化支持

是

支持导出

导出阿里云存储类系列产品

kibana导出cvs/excel

excel/其他

性能影响

日志搜集这一块

参考测评：https://blog.csdn.net/qq\_27252133/article/details/54019965

试用下来，

1.阿里的Appender配置最为简单，只要替换相关jar包，并做log4j的配置即可，且不占用自己磁盘空间，直接上传服务器。但是收费！

2.商业版的Splunk也是一套比较完善且实用的工具，界面友好，操作简单，基本满足所有的需求。需要破解！

3.ELK是开源的，官网提供的安装包基本是一键安装式的，配置简单。一些奇怪问题可能网上资料少,需要研究！

4.阿里的logtail，整体的配置感觉要比ELK复杂稍许，功能强大，较局限于阿里系产品的转换(如数据导出)。但是收费!

5.Hadoop作为数据分析的大哥，过于重量级，且不是那么的熟悉，果断放弃。

6. 其他同类产品可能差不多，就不多做阐述了

最终通过一系列的考察\\分析，最终选择了ELK作为公司的日志服务框架。

## [**环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端**][Mac_SplunkEnterprise_SplunkForward] ##

[环境搭建之ELK(ElasticSearch+LogStash+Kibana)Mac/Linux系统上搭建6.4.2][ELK_ElasticSearch_LogStash_Kibana_Mac_Linux_6.4.2]

其他待补充

--------------------

原创文章，转载请标明本文链接: [环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender) ][logtail_hadoop_elk_splunk_appender_]

来源：[https://www.deathearth.com/320.html][logtail_hadoop_elk_splunk_appender_]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuZGVhdGhlYXJ0aC5jb20vdGVtcC9lbnYvc3BsdW5rLzEyLnBuZw?x-oss-process=image/format,png
[Mac_SplunkEnterprise_SplunkForward]: https://www.deathearth.com/318.html
[ELK_ElasticSearch_LogStash_Kibana_Mac_Linux_6.4.2]: https://www.deathearth.com/323.html
[logtail_hadoop_elk_splunk_appender_]: https://www.deathearth.com/320.html