impala&hive大数据平台数据血缘与数据地图(四)-impala血缘架构图及功能介绍

雨点打透心脏的1/2处 2023-03-14 05:55 131阅读 0赞

最近在内部做了个分享，顺便画了一下这次impala数据血缘的架构图：

# 架构图： #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

如果想了解如何实现请参照前面几篇文章：

**impala数据血缘与数据地图系列：**

[1. 解析impala与hive的血缘日志][1. _impala_hive]

[2. 实时采集impala血缘日志推送到kafka][2. _impala_kafka]

[3. 实时消费血缘记录写入neo4j并验证][3. _neo4j]

\---------------------------------Impala血缘 架构图-----------------------------------------------------------

红色部分是用户会接触到的部分，绿色部分对于用户无感知。

# 解读： #

1. impala是无主的MPP架构，因此用户每次SQL指定的impala节点就是主节点，当用户通过SQL或jdbc/odbc接口查询impala时，SQL命令首先 会发送到impala daemon节点，由该节点的QueryPlanner解析SQL成执行计划后发送给其他daemon节点分别计算各自的数据然后返回给该impala daemon节点。 所以我们只要在每台impala daemon节点部署filebeat并监控血缘日志即可。

2. 使用Filebeat监控impala血缘日志后发送到kafka集群指定的topic中;

3. 解析kafka内的血缘日志，将元数据(user,timestamp,id等信息)，实体(表，字段)，关系(表到表，字段到字段，字段到表)识别出来;

4. 将第三步里的结果存储进Neo4J;

5. 用户可以使用CQL或封装的接口对Neo4J里存储的impala血缘进行实时的查询;

# 功能介绍： #

### 实时血缘： ###

建视图：逻辑如下
    create view vw_lineage_test as
    select acc.gid,acc.decrypt_name,ind.company_name ,acc.branch_name
    from dl_nccp.account acc 
    inner join dl_nccp.individual ind on acc.gid=ind.gid and acc.is_deleted='0' and acc.is_valid='0';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

修改视图逻辑：新增一个来源表contract以及该表的telephone字段
    alter view vw_lineage_test as
    select acc.gid,acc.decrypt_name,ind.company_name,acc.branch_name,c.telephone 
    from dl_nccp.account acc 
    inner join dl_nccp.individual ind on acc.gid=ind.gid and acc.is_deleted='0' and acc.is_valid='0'
    inner join dl_nccp.contact c on acc.gid = c.gid

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2][]

### 全类型血缘： ###

目前已实现字段到表，字段到字段，表到表，表到库级别的全类型血缘关系：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3][]

### 技术元数据管理： ###

实时更新数据字典、ETL任务元数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 5][]

### 影响分析： ###

指定节点向后进行影响分析：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 6][]

### 血缘分析： ###

指定节点向前进行血缘分析：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 7][]

### 深度查询： ###

可指定血缘的查询深度：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 8][]

**如果对你有帮助，请点个赞吧~ 谢谢！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: /images/20230312/5daef34da46b4be59f7115c31cdcd3e8.png
[1. _impala_hive]: https://blog.csdn.net/wsdc0521/article/details/105403734
[2. _impala_kafka]: https://blog.csdn.net/wsdc0521/article/details/105404576
[3. _neo4j]: https://blog.csdn.net/wsdc0521/article/details/106050406
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: /images/20230312/00bf6b15a3f54fcd9416a1ccc98982fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 2]: /images/20230312/50515f52511e49ea8c03e1566d4c03be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 3]: /images/20230312/a40056e0d5e14d92897c696ecadf5f83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 4]: /images/20230312/69de5102a4f34c849886a7d2af5d231a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 5]: /images/20230312/d538c8f0d0f54b66bc1144d166756b9e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 6]: /images/20230312/17e25b12fa1645fe9428799883a18383.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 7]: /images/20230312/38c6f32f8a4d44ce932aaffd1da0c010.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 8]: /images/20230312/93b4389b9fb7473c8818f9523e9b3898.png