Flume+HDFS+Kafka+Hive实例搭建

秒速五厘米 2022-01-09 20:59 352阅读 0赞

### **摘要：本文要实现的是一个使用Flume来处理Kafka的数据，并将其存储到HDFS中去，然后通过Hive外部表关联查询出来存储的数据。** ###

所以在建立一个maven工程，整个工程最终的目录如下：

![20170304164747805][]

下面开始一步一步讲解

### 1、定义自己的source ###

之所以不用源生的，是因为要对得到的消息要一定的处理后再保存到hdfs中去，这里主要就是将每一条消息解析并组装成以“|”做分隔的一条记录

![20170304162138296][]

在这个类中定义Start方法来初始化连接kafka:

![20170304162323110][]

在这个类中定义处理消费的方法：

其实就是将消息处理成一条以“|”符号隔开的一条数据并放入到channel中：

![20170304162535674][]

中间还有一部分处理：

笔者都一而过了，这是放到event,下一步就是放在channel中了。

![20170304162548416][]

上面的process方法会调用到这：

其实就是将消息解析，并组装成一条以“|”隔开的数据

![20170304162838373][]

### 2、配置文件 ###

接下来就是配置source/channel/sink了。

![20170304163222284][]

配置文件部分内容：

![20170304163236784][]

注意，这里的channle使用的type是SPILLABLEMEMORY,表示source来的event都会先保存到内存中去，内存不够了再保存到硬盘中去。各项参数此处不再做解释

### 3、启动脚本： ###

如果flume程序 所在的集群不在haddop集群中，需要将haddop集群的/hadoop/native文件夹复制到此flume运行的机器，并且将hdfs-site.xml也一起复制过来。如果还操作了hbse/hive,那么hbse-site.xml.hive-site.xml也要复制过来。

![20170304163453568][]

然后编写启动脚本：

![20170304164218922][]

![20170304164229094][]

![20170304164236962][]

启动执行：

![20170304164349494][]

停止执行：

![20170304164513214][]

事先要将checkpoint目录建立起来：

![20170304164559053][]

### 4、打包 ###

最后打包成一个tar包，并将配置文件是jar包分离

![20170304165031762][]

打包后目录：

所有的jar包都在lib目录，而不是打成一个大jar包

![20170304165110747][]

在上面的启动脚本中就可以指明依赖的jar包：

![20170304165413627][]

启动时添加 这个参数：

![20170304165525925][]

### 5、运行 ###

flume安装很简单，将flume安装包解压后就可以，同时将我们的应用从上面的tar包上传到此台机器，并解压

![20170304170408078][]

并进入bdp-flume建立如下几个目录：

channel\_date:channel的硬盘存储目录

log:打印的日志存储目录

var:存放当前flume应用的pid,主要是启动和停止会用到

![20170304170532392][]

启动：

![20170304170948053][]

这是log目录下打印的部分日志：

![20170304171250729][]

看一下hdfs是否有数据：

注意，这里是直接将文件存放到hdfs的这个路径，并每天有一个文件价（为后面和hive表分区关联方便）

![20170304171609913][]

保存的文件：.tmp结尾的表示当前正在写入的，还没有滚动

![20170304171917648][]

因为是保存成.snappy文件，所以直接查询会乱码。如果是保存成textfile的话，就不会。但是snappy有压缩，textfile没，建议使用snappy。

### 6、建立Hive外部表 ###

CREATE  TABLE IF NOT EXISTS ods_uba.kafka_appchnl_source_log 
    (
       source_log           string,
       muid                 string, -- 'parse ck',
       dev_no               string, -- 'uu',
       user_id              string, -- 'ur',
       mbl_nbr              string, -- 'ud',
       chnl_code            string, -- 'ch',
       opt_type             string, -- 'ac',  
       req_no               string, -- 'rn',
       vt_time              string, -- 'tm',
       st_time              string -- 'st',
    ) 
    PARTITIONED BY (opdt string) 
    row format delimited
    fields terminated by '^' lines terminated by '\n'
    stored as textfile
    LOCATION '/hive/warehouse/ods_uba.db/kafka_appchnl_source_log';

注意：**这里Location指的是hdfs文件存放的目录，可以不用完全是hive表默认的存储路径一样**。

添加分区数据：

alter table kafka_appchnl_source_log add if not exists partition(opdt='2017-01-06')

可以用presto和dbveare使用来查询，也可以使用hive命令查询

这是查询出来的部分字段：

![20170304172923612][]

转：[https://blog.csdn.net/Evankaka/article/details/55223894][https_blog.csdn.net_Evankaka_article_details_55223894]

[20170304164747805]: /images/20220109/f164e399de8b4a7280c4fc51943507b8.png
[20170304162138296]: /images/20220109/750e5d34cb03410ea23d49744094ba8e.png
[20170304162323110]: /images/20220109/43f9f759825442949c77d56f5e1666e9.png
[20170304162535674]: /images/20220109/ac3f4ee19cad4dfdb69dc7160bd318ad.png
[20170304162548416]: /images/20220109/493fe8c5de5b43ef8d6143c32cf89a76.png
[20170304162838373]: /images/20220109/0a6f808d92e3450e8987f7db6561cb53.png
[20170304163222284]: /images/20220109/37570f3aab904f52bd9a45a08c196f05.png
[20170304163236784]: /images/20220109/4c28c5643b1d4743819c1b9e631bfac9.png
[20170304163453568]: /images/20220109/4032805764044a1294a0727f9ed0e7b6.png
[20170304164218922]: /images/20220109/4ad839489f75453cb84b4a1b10113f2c.png
[20170304164229094]: /images/20220109/8d9e2f0355cf40d4b2182e9c907f7f10.png
[20170304164236962]: /images/20220109/572d4b4ef57940ab83111ea53701346a.png
[20170304164349494]: /images/20220109/9eb46f22a0424da889dd2268875d4775.png
[20170304164513214]: /images/20220109/1695f772b3584d7db30599dfb0a5333d.png
[20170304164559053]: /images/20220109/dbdb19a2e52b44c6af696b99fb9be931.png
[20170304165031762]: /images/20220109/c0231c94c7a74b819a7fc3643dedd113.png
[20170304165110747]: /images/20220109/d4b3cbc87ea84f6ca1669842a335d45d.png
[20170304165413627]: /images/20220109/26c798f2401d4e6f9b7cf0698aa8a0d0.png
[20170304165525925]: /images/20220109/09b788b4217b460a872aea1a39c0d87e.png
[20170304170408078]: /images/20220109/cd7960369e4043918e598fa978159763.png
[20170304170532392]: /images/20220109/99ad837161ce42ccaa84c64c7a65b253.png
[20170304170948053]: /images/20220109/003d141d1d0b4867999eac5d4cac45d6.png
[20170304171250729]: /images/20220109/b6779b66020c47829a422cb298da8685.png
[20170304171609913]: /images/20220109/42688d6edc114e3cb1207d10cc5c81fe.png
[20170304171917648]: /images/20220109/1ef2cea4e4de4bb3bbcc263523372dbd.png
[20170304172923612]: /images/20220109/11d1ee5fa20f45f7ba6f701cbc048fda.png
[https_blog.csdn.net_Evankaka_article_details_55223894]: https://blog.csdn.net/Evankaka/article/details/55223894