hive 统计分析相关ANALYZE

朱雀 2023-07-24 03:29 42阅读 0赞

# 1.前言 #

本文大部分是对于官方问的那个的理解，小部分是自己的测试感受  
官方文档地址

> https://cwiki.apache.org/confluence/display/Hive/StatsDev

ANALYZE 这个命令接触的不多，今天专门研究学习下

# 2、目的 #

见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而是直接获取即可

# 3、范围 #

统计信息支持新建的和现有的表，支持分区表和普通表的统计信息 以及列统计信息

# 4、ANALYZE相关 #

### 1、表统计 ###

表统计的信息包括:行数，文件数，大小（以字节为单位）

*  1、hive 是**默认自动收集**统计信息，由hive.stats.autogather 配置参数决定，默认是true。但是对于load data 方式是不支持的。（想一下也可以知道，他应该是在计算的时候去计算出这些统计信息）

\-**注意**:这个在hive中是自动收集的。在sparkThriftserver中并不适用，虽然用的hive的元数据信息，但是它们两个在这方面不相通。

*  2、手动收集。我们这边也可以指定手动收集，手动收集的指令为

> ANALYZE TABLE \[db\_name.\]tablename \[PARTITION(partcol1\[=val1\], partcol2\[=val2\], …)\]  
> COMPUTE STATISTICS  
> \[FOR COLUMNS\] – (Note: Hive 0.10.0 and later.)  
> \[CACHE METADATA\] – (Note: Hive 2.1.0 and later.)  
> \[NOSCAN\];

其中如果指定了NOSCAN的话，该命令将不会去扫描文件，仅会收集文件数和文件大小的信息

*  3、查看表的统计信息

> desc formatted tableName

### 2、列统计 ###

相关文档

> https://cwiki.apache.org/confluence/display/Hive/Column+Statistics+in+Hive

*  1、在表信息的基础上进行了扩展，可以对列信息进行统计，命令为

> analyze table t \[partition p\] compute statistics for \[columns c,…\];

*  2、查看列信息统计的命令为

> describe formatted \[table\_name\] \[column\_name\];

发表评论取消回复

表情：

评论列表（有 0 条评论，42人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 5.7 ANALYZE TABLE分析索引的统计信息

生产环境中，索引的更新操作可能非常频繁。如果再每次索引发生更新操作时就对其进行Cardinality的统计，那么将会对数据库带来很大的负担。另外需要考虑的是，如果一张表的...

╰半夏微凉°/ 2024年04月18日 00:10/ 0 赞/ 129 阅读

相关 Eclipse memory analyze 内存分析

1.执行heapdump，生成hprof文件 2.用eclipse memory analyze 打开 Eclipse 菜单窗口→打开透视图→内存分析器 Ecl

旧城等待，/ 2024年03月26日 17:33/ 0 赞/ 160 阅读

相关 hive 统计分析相关ANALYZE

1.前言本文大部分是对于官方问的那个的理解，小部分是自己的测试感受官方文档地址 > https://cwiki.apache.org/confluence/di

朱雀/ 2023年07月24日 03:29/ 0 赞/ 43 阅读

相关 hive on spark: 数据统计分析

1, 需求分析数据源/数据格式　: 某医院的hbase表–> 映射hive 外表–> 使用hive函数分析数据 person_name oper_c

水深无声/ 2023年05月31日 02:42/ 0 赞/ 92 阅读

相关 pandas做数据分析(五):统计相关函数

一.计数操作 1.pandas.Series.value\_counts Series.value\_counts(normalize=False,sort=Tru

痛定思痛。/ 2022年10月01日 01:51/ 0 赞/ 366 阅读

相关 hive 桶相关特性分析

1. hive 桶相关概念桶(bucket)是指将表或分区中指定列的值为key进行hash，hash到指定的桶中，这样可以支持高效采样工作。抽样（ sa

分手后的思念是犯贱/ 2022年08月07日 10:53/ 0 赞/ 261 阅读

相关 oracle收集统计信息之analyze

oracle收集统计信息之analyze 1.analyze 收集表，索引的统计信息，现在oracle不推荐用analyze收集统计信息收集表的统计信息Ana

浅浅的花香味﹌/ 2022年04月10日 08:55/ 0 赞/ 810 阅读

相关 Eclipse Memory Analyzer 内存分析

下载分析工具内存溢出分析工具：Eclipse Memory Analyzer 下载地址：http://www.eclipse.org/mat/do

客官°小女子只卖身不卖艺/ 2022年03月15日 06:24/ 0 赞/ 612 阅读

相关 Hive 相关问题

前言本章主要收集一些`Hive`经常会遇到的问题. 由于本人没有在生产环境内使用过`Hive`. 所以, 本节的内容多为转载. -------------------

客官°小女子只卖身不卖艺/ 2022年02月22日 06:09/ 0 赞/ 375 阅读

相关使用analyze命令收集统计信息

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 1、以计算[模式][Link 1][收集表][Link

左手的ㄟ右手/ 2021年09月20日 04:48/ 0 赞/ 384 阅读