6.3 Impala介绍

逃离我推掉我的手 2022-05-22 09:18 124阅读 0赞

[https://www.cloudera.com/products/open-source/apache-hadoop/impala.html][https_www.cloudera.com_products_open-source_apache-hadoop_impala.html]

[http://www.impala.io/index.html][http_www.impala.io_index.html]

Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。

基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点

是CDH平台首选的PB级大数据实时查询分析引擎

Impala特点：

1、基于内存进行计算，能够对PB级数据进行交互式实时查询、分析

2、无需转换为MR，直接读取HDFS数据

3、C++编写，LLVM统一编译运行

4、兼容HiveSQL

5、具有数据仓库的特性， 可对hive数据直接做数据分析

6、支持Data Local

7、支持列式存储

8、支持JDBC/ODBC远程访问

缺点：

1、对内存依赖大

2、C++编写 开源？！

3、完全依赖于hive

4、实践过程中 分区超过1w 性能严重下下降

5、稳定性不如hive

--------------------

impala shell(外部命令):

\-h（--help）帮助 impala shell -h

\-v（--version）查询版本信息

\-V（--verbose）启用详细输出

\--quiet 关闭详细输出

\-p 显示执行计划

\-i hostname（--impalad=hostname） 指定连接主机 格式hostname：port 默认端口21000

impala shell -i node2

\-r（--refresh\_after\_connect）刷新所有元数据

\-q query（--query=query）从命令行执行查询，不进入impala-shell

impala shell -q select \* from tb1

\-d default\_db（--database=default\_db）指定数据库

\-B（--delimited）去格式化输出

• --output\_delimiter=character 指定分隔符

• --print\_header 打印列名

\-f query\_file（--query\_file=query\_file）执行查询文件，以分号分隔

\-o filename（--output\_file filename）结果输出到指定文件

impala shell -f /usr/123.txt -o result.txt

\-c 查询执行失败时继续执行

\-k（--kerberos） 使用kerberos安全加密方式运行impala-shell

\-l 启用LDAP认证

\-u 启用LDAP时，指定用户名

--------------------

impala shell内部命令：

直接impala shell 进入impala

help

connect 连接主机，默认端口21000

refresh 增量刷新元数据库

invalidate metadata 全量刷新元数据库

explain 显示查询执行计划、步骤信息

• set explain\_level 设置显示级别（0,1,2,3）

shell 不 退出impala-shell执行Linux命令

profile （查询完成后执行） 查询最近一次查询的底层信息

impala不支持复杂的数据类型，例如：MAP，Array,struct

impala只支持：AVG,COUNT,MAX,MIN,SUM 这几个函数

创建数据库：

create database db1;

use db1;

删除数据库：

use default；

drop database db1；

创建表(内部表)：

create table t\_person1(

id int,

name string

）

指定存储方式：

create table t\_person2(

id int,

name string

)

row format delimited

fields terminated by ‘\\0’ (impala1.3.1版本以上支持‘\\0’ )

stored as textfile;

使用现有表结构：

create table tab\_3 like tab\_1;

插入数据：

直接插入值方式：

• insert into t\_person values (1,hex(‘hello world’));

– 从其他表插入数据：

• insert (overwrite) into tab\_3 select \* form tab\_2 ;

– 批量导入文件方式方式：

• load data local inpath ‘/xxx/xxx’ into table tab\_1;

创建表(外部表)

– 默认方式创建表：

• create external table tab\_p1(

• id int,

• name string

• )

• location ‘/user/xxx.txt’

– 指定存储方式：

• create external table tab\_p2 like parquet\_tab

• ‘/user/xxx/xxx/1.dat’

• partition (year int , month tinyint, day tinyint)

• location ‘/user/xxx/xxx’

• stored as parquet;

视图

– 创建视图：

• create view v1 as select count(id) as total from tab\_3 ;

– 查询视图：

• select \* from v1;

– 查看视图定义：

• describe formatted v1

• 注意：

– 1）不能向impala的视图进行插入操作

– 2）insert 表可以来自视图

数据文件处理

– 加载数据：

• 1、insert语句：插入数据时每条数据产生一个数据文件，不建议用此方式

加载批量数据

• 2、load data方式：在进行批量插入时使用这种方式比较合适

• 3、来自中间表：此种方式使用于从一个小文件较多的大表中读取文件并写

入新的表生产少量的数据文件。也可以通过此种方式进行格式转换。

– 空值处理：

• impala将“\\n”表示为NULL，在结合sqoop使用是注意做相应的空字段

过滤，

• 也可以使用以下方式进行处理：

• alter table name set tblproperties

(“serialization.null.format”=“null”)

[https_www.cloudera.com_products_open-source_apache-hadoop_impala.html]: https://www.cloudera.com/products/open-source/apache-hadoop/impala.html
[http_www.impala.io_index.html]: http://www.impala.io/index.html

6.3 Impala介绍

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关大数据Impala系列之初识Impala

相关 Impala 介绍

相关 Impala

相关 impala&hive大数据平台数据血缘与数据地图(四)-impala血缘架构图及功能介绍

相关 63-Linux的系统介绍

相关 Impala安装部署

相关 Impala 2、Impala Shell 和 Impala SQL

相关 6.3 Impala介绍

相关 impala jdbc

相关 Impala简介