flume之avro实践

迷南。 2023-10-16 22:41 16阅读 0赞

flume接收端配置：

a1.channels = c1
    a1.sources = r1
    a1.sinks = k1
    a1.channels.c1.type = memory
    a1.sources.r1.channels = c1
    
    a1.sources.r1.type = avro
    a1.sources.r1.bind = 0.0.0.0
    a1.sources.r1.port = 41414
    a1.sources.r1.threads = 5
    
    a1.sinks.k1.channel = c1
    a1.sinks.k1.type = FILE_ROLL
    a1.sinks.k1.sink.directory = Z:/flume/flume/logs/relog
    a1.sinks.k1.r.max.message.size = 100000

flume发送端：

a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    a1.sources.r1.type = spooldir
    a1.sources.r1.spoolDir = F:/flume_simple_send/logs/relog
    a1.sources.r1.fileHeader = true
    a1.sources.r1.channels = c1
    # Describe the sink
    a1.sinks.k1.type = avro
    a1.sinks.k1.channel = c1
    a1.sinks.k1.hostname = localhost
    a1.sinks.k1.port = 41414
    a1.sinks.k1.threads = 5
    
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 100000
    a1.channels.c1.transactionCapacity = 10000

启动之后即可把F:/flume\_simple\_send/logs/relog的文件发送到本地端口 41414，然后接收端会从41414端口拿到数据写文件到Z:/flume/flume/logs/relog

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关 flume之avro实践

flume接收端配置： a1.channels = c1 a1.sources = r1 a1.sinks = k1 a1.channels.

迷南。/ 2023年10月16日 22:41/ 0 赞/ 17 阅读

相关【Flume】Flume基础之安装与使用

1、Flume简介 (1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 (2) Flume

雨点打透心脏的1/2处/ 2023年06月15日 11:27/ 0 赞/ 123 阅读

相关 Flume 收集Nginx日志 tail-to-avro avro-to-file

nginx，access.log日志约1.6w条/s，每1000w条数据约2000M,需要10min tail-to-avro agent1.sources

约定不等于承诺〃/ 2022年08月26日 04:49/ 0 赞/ 241 阅读

相关 spark streaming+flume avro实时计算

1.编写测试代码，制作成jar包（spark提供的测试代码如下，已经编译好了，自己写代码，要用maven或者sbt制做jar包：） package org.ap

た入场券/ 2022年08月18日 05:40/ 0 赞/ 295 阅读

相关 Avro 学习资源

1 Avro通过了序列化功能，可以把对象序列化成二进制或Json，再反序列化成对象。 2 序列化的数据要么存储到文件中保存，要么网络传输给其他应用。对于文件存储，Avro提供

￡神魔★判官ぃ/ 2022年07月15日 19:59/ 0 赞/ 250 阅读

相关 flume 实践

1.下载 http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/ 2.上传到服务器并解压上传apac

灰太狼/ 2022年07月12日 23:06/ 0 赞/ 27 阅读

相关初识Avro

Avro是Hadoop生态圈的一部分，由Hadoop的创始人Doug Cutting牵头开发，当前最新版本1.8.2。Avro是一个数据序列化系统，设计用于支持大批量数据交换的

傷城~/ 2022年06月04日 05:05/ 0 赞/ 422 阅读

相关 flume之Channel

Channels 是一个 Agent上存储 events 的仓库，Source 向其中添加 events，而 Sink从中取走移除 events。本文重点介绍memory ch

た入场券/ 2021年06月24日 15:58/ 0 赞/ 699 阅读

相关 flume之intercept

flume是以多种组件形成的一个框架，最最常用的三种组件有：source、channel、sink。这三个组件分别来完成事件（event）数据的“收集”、“传递”、“写入”的功

忘是亡心i/ 2021年06月24日 15:57/ 0 赞/ 445 阅读

相关 Flume之监控

Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。它的SOURCE、SINK、CHANNEL三大组件这种模式，来完成数据的接收、缓存、发送这个过程，拥有非

小鱼儿/ 2021年05月12日 11:55/ 0 赞/ 701 阅读