hive优化（浅层优化）

一时失言乱红尘 2023-06-29 12:59 24阅读 0赞

###  Hive 优化 ###

> 核心思想：把Hive SQL 当做Mapreduce程序去优化
> 
> 以下SQL不会转为Mapreduce来执行
> 
> select仅查询本表字段
> 
> where仅对本表字段做条件过滤

### explain 查看执行计划 ###

>     -- 正常显示执行计划
>     explain select count(*) from person;
>     
>     -- 详细显示执行计划
>     explain extended select count(*) from person;

### Hive运行方式 ###

> 本地模式、集群模式
> 
> 本地或者测试环境，可以开启本地模式，节省开发SQL执行的时间成本。
> 
>     开启本地模式：
>     set hive.exec.mode.local.auto=true;
>     注意：hive.exec.mode.local.auto.inputbytes.max默认值为128M
>     表示加载文件的最大值，若大于该配置仍会以集群方式来运行！

### 并行计算 ###

>     通过设置以下参数开启并行模式：
>     set hive.exec.parallel=true;
>     
>     注意：hive.exec.parallel.thread.number
>     （一次SQL计算中允许并行执行的job个数的最大值）
> 
> 注意：并行计算不是所有的SQL都适用，每个子任务并行的执行结果不影响最终结果。否则，不可以开启并行计算
> 
> 例：
> 
>     -- 开启本地模式
>     set hive.exec.mode.local.auto=true;
>     
>     -- 开启并行计算
>     set hive.exec.parallel=true;
>     
>     -- 并行统计SQL-可以使用并行计算
>     select p1.c1,p2.c2 from 
>     (select count(1) c1 from person) p1,
>     (select count(1) c2 from p_person) p2;
>     
>     -- 往分区表和分桶表中分别加载数据，互不影响，可以使用并行计算
>     from person
>     insert overwrite table p_person partition (sex,age)
>     select id,name,likes,address,sex,age distribute by sex,age
>     insert overwrite table fentong_person 
>     select id,name,likes,address,age;
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDQ5Nzcz_size_16_color_FFFFFF_t_70][]
> 
> **注意：如果p2的执行语句需要依赖于p1的执行结果，此时并行计算不可以使用，必须使用串行，否则影响结果的准确性**

### 严格模式 ###

> 通过设置以下参数开启严格模式：
> 
>     set hive.mapred.mode=strict;
> 
> （默认为：nonstrict非严格模式）
> 
> **查询限制：**
> 
>       1、对于分区表，必须添加where对于分区字段的条件过滤；
> 
>       2、order by语句必须包含limit输出限制；
> 
>       3、限制执行笛卡尔积的查询。
> 
>     -- 使用order by必须加limit
>     select * from person order by id limit 5;
>     
>     -- 分区表，必须包含分区字段作为查询条件
>     select * from p_person where age=10;
>     
>     -- 笛卡尔积：join联合查询，表与表之间必须要有连接条件，如果涉及到分区表，连接条件中还必须包含分区字段
>     select p1.name,p2.name from person p1 left join
>         > p_person p2 on p1.id=p2.id and p2.age=10;
>     
>     -- 笛卡尔积：p1和p2之间没有连接条件，查询失败
>     select p1.id,p2.name from person p1,p_person p2 where p2.age=10;
> 
> 优点：
> 
>       禁止开发人员进行一些全表扫描的SQL查询

### Hive排序 ###

> 1、Order By - 对于查询结果做全排序，只允许有一个reduce处理
> 
> （当数据量较大时，应慎用。严格模式下，必须结合limit来使用）
> 
> 2、Sort By - 对于单个reduce的数据进行排序
> 
> 3、Distribute By - 分区排序，经常和Sort By结合使用
> 
> 4、Cluster By - 相当于 Sort By **+** Distribute By
> 
> **重点注意：Cluster By不能通过asc、desc的方式指定排序规则；可通过 distribute by column sort by column asc|desc 的方式**

### Map Join ###

> **Join计算时，将小表（驱动表）放在join的左边**
> 
> **Map Join：在Map端完成Join**
> 
> 两种实现方式：
> 
> **1、SQL方式，在SQL语句中添加MapJoin标记（mapjoin hint）**
> 
>       语法：
> 
>                SELECT  **/\*+ MAPJOIN(smallTable) \*/ **smallTable.key,  bigTable.value FROM  smallTable  JOIN  bigTable  ON  smallTable.key  =  bigTable.key;
> 
> **2、开启自动的MapJoin**
> 
>       通过修改以下配置启用自动的mapjoin：
> 
>     set hive.auto.convert.join = true;
> 
>     （该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map join）
> 
>       相关配置参数：
> 
>                  **hive.mapjoin.smalltable.filesize; ** 
> 
> **               （大表小表判断的阈值，如果表的大小小于该值则会被加载到内存中运行）**
> 
> **                 hive.ignore.mapjoin.hint；**
> 
> **               （默认值：true；是否忽略mapjoin hint 即mapjoin标记）**
> 
>                  hive.auto.convert.join.noconditionaltask;
> 
>                （默认值：true；将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin）
> 
>                   hive.auto.convert.join.noconditionaltask.size;
> 
>                （将多个mapjoin转化为一个mapjoin时，其表的最大值）

### Map-Side聚合 ###

> 通过设置以下参数开启在Map端的聚合：
> 
>     set hive.map.aggr=true;
> 
> 相关配置参数：
> 
> **hive.groupby.mapaggr.checkinterval：** 
> 
> map端group by执行聚合时处理的多少行数据（默认：100000）
> 
> **hive.map.aggr.hash.min.reduction：** 
> 
> 进行聚合的最小比例（预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合）
> 
> **hive.map.aggr.hash.percentmemory：** 
> 
> map端聚合使用的内存的最大值
> 
> **hive.map.aggr.hash.force.flush.memory.threshold：** 
> 
> map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush
> 
> **hive.groupby.skewindata**
> 
> 是否对GroupBy产生的数据倾斜做优化，默认为false

### 控制Hive中Map以及Reduce的数量 ###

>  
> 
> **1、Map数量相关的参数（map端一般不设置，切片大小默认为block块的大小）**
> 
>       **mapred.max.split.size**
> 
>       一个split的最大值，即每个map处理文件的最大值
> 
>       **mapred.min.split.size.per.node**
> 
>       一个节点上split的最小值
> 
>       **mapred.min.split.size.per.rack**
> 
>       一个机架上split的最小值
> 
> **2、Reduce数量相关的参数**
> 
>       **mapred.reduce.tasks**
> 
>       强制指定reduce任务的数量
> 
>       **hive.exec.reducers.bytes.per.reducer**
> 
>       每个reduce任务处理的数据量
> 
>       **hive.exec.reducers.max**
> 
>       每个任务最大的reduce数

### JVM重用 ###

> 适用场景：
> 
> 1、小文件个数过多
> 
> 2、task个数过多
> 
> 通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置
> 
> （n为task插槽个数）
> 
> 缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDQ5Nzcz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200113000135927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDQ5Nzcz,size_16,color_FFFFFF,t_70