Flume

水深无声 2022-03-14 21:18 374阅读 0赞

## 官方网址：[http://flume.apache.org/][http_flume.apache.org] ##

### （一）什么是Flume？ ###

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

### （二）Flume的体系结构（官方图） ###

![Flume的体系架构][Flume]

### （三）安装和配置Flume ###

1）下载地址： [http://flume.apache.org/download.html][http_flume.apache.org_download.html]  
2） 解压  
3）修改conf/flume-env.sh设置JAVA\_HOME即可 （不设置好像也可以）

### （四）使用Flume采集日志数据 ###

#bin/flume-ng agent -n a4 -f myagent/a4.conf -c conf -Dflume.root.logger=INFO,console
    #定义agent名， source、channel、sink的名称
    a4.sources = r1
    a4.channels = c1
    a4.sinks = k1
    
    #具体定义source
    a4.sources.r1.type = spooldir
    a4.sources.r1.spoolDir = /root/training/logs
    
    #具体定义channel
    a4.channels.c1.type = memory
    a4.channels.c1.capacity = 10000
    a4.channels.c1.transactionCapacity = 100
    
    #定义拦截器，为消息添加时间戳
    a4.sources.r1.interceptors = i1
    a4.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
    
    
    #具体定义sink
    a4.sinks.k1.type = hdfs
    a4.sinks.k1.hdfs.path = hdfs://192.168.56.111:9000/flume/%Y%m%d
    a4.sinks.k1.hdfs.filePrefix = events-
    a4.sinks.k1.hdfs.fileType = DataStream
    
    #不按照条数生成文件
    a4.sinks.k1.hdfs.rollCount = 0
    #HDFS上的文件达到128M时生成一个文件
    a4.sinks.k1.hdfs.rollSize = 134217728
    #HDFS上的文件达到60秒生成一个文件
    a4.sinks.k1.hdfs.rollInterval = 60
    
    #组装source、channel、sink
    a4.sources.r1.channels = c1
    a4.sinks.k1.channel = c1

[http_flume.apache.org]: http://flume.apache.org/
[Flume]: /images/20220315/560db249f25b4729bedc161c1e2e45b2.png
[http_flume.apache.org_download.html]: http://flume.apache.org/download.html