Hive优化----利用随机数避免数据倾斜

你的名字 2023-01-21 15:20 33阅读 0赞

发生数据倾斜时，通常的现象是：

任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。

查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。                   数据倾斜一般是由于代码中的join或group by或distinct的key分布不均导致的，大量经验表明数据倾斜的原因是人为的建表疏忽或业务可以规避的。如果确认业务需要这样倾斜的逻辑.

*  对于join，使用map join，即在查询头添加map join hint，例如

select /\*+MAPJOIN(b)\*/ \* from a join b on a.id =b.id

将会把join转换为mapjoin，且将b表作为小表处理。

*  对于group by或distinct，使用两次MR优化，即设定参数: hive.groupby.skewindata=true
 *  随机数解决数据倾斜

一、随机函数解决倾斜

原始sql：

insertoverwrite table t\_aa\_click\_log partition (pt=’$\{yyyymmddhh\}’)

selecta.\*

from(select \* from t\_aa\_click\_log1

wherept=’$\{yyyymmddhh\}’

)a

leftouter join

(select\* from t\_aa\_pv\_info\_log

wherept=’$\{yyyymmddhh\}’) b

ona.pvid=b.pvid;

发现大量时间花费在reduce99%~100%这最后一步上，约占总时长20分钟的一半，

用以下sql检查下数据分布:

select\*

from(

selectpvid,count(1) cnt

fromt\_aa\_click\_log1

wherept=’$\{yyyymmddhh\}’

groupby pvid) t

orderby cnt desc

limit50;

发现pvid=’NA’的占比最高，有100多万，而其他最多的也只有几十条，证实数据倾斜。

利用随机函数，将pvid=’NA’的数据随机分布到不同的reduce中：

insertoverwrite table t\_aa\_click\_log partition (pt=’$\{yyyymmddhh\}’)

selecta.\*

from(select \* from t\_aa\_click\_log1

wherept=’$\{yyyymmddhh\}’

)a

leftouter join

(select\* from t\_aa\_pv\_info\_log

wherept=’$\{yyyymmddhh\}’) b

–如果pvid长度<=2，包含pvid=NA或-1 等多种异常值，即用随机函数叠加处理，因为异常值本来就关联不到，所以加上随机函数对结果没有影响

oncase when length(a.pvid)<=2 then concat(a.pvid,rand()) else a.pvid end =b.pvid;

问题解决。

发表评论取消回复

表情：

评论列表（有 0 条评论，33人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive数据倾斜

一、什么是数据倾斜简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度...

悠悠/ 2024年04月17日 06:25/ 0 赞/ 200 阅读

相关 Hive中的基本优化 + 索引优化 + 数据倾斜优化

数据倾斜 1. 基础优化 1.1 并行编译优化 1.2 并行执行优化 1.3 小文件合并 1.4 矢量化查询

怼烎@/ 2024年04月07日 11:56/ 0 赞/ 186 阅读

相关【Hive-优化】Hive的优化方式四（数据倾斜优化）

【Hive-优化】Hive的优化方式四（数据倾斜优化） 1）关联优化器 2）数据倾斜Skewin 2.1.基础查询数据倾斜 2.2.

柔情只为你懂/ 2023年10月08日 18:31/ 0 赞/ 64 阅读

相关 Hive优化---mapjoin和union all避免数据倾斜

[mapjoin和union all避免数据倾斜][mapjoin_union all] 发生数据倾斜时，通常的现象是：任务进度长时间维持在99%（或100%）

心已赠人/ 2023年01月21日 15:21/ 0 赞/ 40 阅读

相关 Hive优化----利用随机数避免数据倾斜

发生数据倾斜时，通常的现象是：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。查看

你的名字/ 2023年01月21日 15:20/ 0 赞/ 34 阅读

相关 hive 数据倾斜、优化策略、hive执行过程、垃圾回收

文章目录 [1. 数据倾斜][1.] [1.1 什么是数据倾斜？][1.1] [1.2 容易数据倾斜情况][1.2]

拼搏现实的明天。/ 2022年11月20日 09:37/ 0 赞/ 384 阅读

相关 hive数据倾斜优化策略

hive数据倾斜优化策略 Hive数据倾斜 Group By 中的计算均衡优化 1.Map端部分聚合先看看下面这条SQL，由于用户的性别

清疚/ 2022年11月20日 09:37/ 0 赞/ 386 阅读

相关 Hive 数据倾斜总结

转载：http://www.tbdata.org/archives/2109 几个比较特殊的点都提到了，大家可以作为参考。在做Shuffle阶段的优化过程

逃离我推掉我的手/ 2022年08月07日 11:39/ 0 赞/ 328 阅读

相关 Hive数据倾斜问题

[Skew Join与Left Semi Join相关][Skew Join_Left Semi Join] Skew Join 真实数据中数据倾斜是一定的,

男娘i/ 2022年08月07日 10:53/ 0 赞/ 287 阅读

相关 hive数据倾斜

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些

末蓝、/ 2022年06月02日 10:25/ 0 赞/ 317 阅读