拒绝手敲，hive创建表只需要输入表名和字段即可自动建表（shell脚本实现）

我就是我 2023-07-24 09:09 24阅读 0赞

### 问题描述 ###

> 如果 hive 表有100个字段，一天建20张表，一直敲 Ctrl C Ctrl V ....（20年单身手速也不能对自己这么狠吧！！）

### 问题解决 ###

> h1“”传入的第一个参数 $1 和 create table 字符拼接
> 
> h2：传入的参数 $2 $3 和 partition by 字符串拼接
> 
> h3：传入的之后的参数 $\* 通过 for 循环和 varchar(255) ,字符拼接
> 
> hive -e "$h1$h2$h3" 实现通过shell脚本自动创建hive表

### 代码实现 ###

#!/bin/bash
    
    # $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段
    # 数据库名称，这里不作为参数用自变量写了
    database="observation"
    # hive 拼接语句,分为h1,h2,h3 
    # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部
    h1="create external table $database.$1("
    # 在当前目录下创建文本文件temp，如果文件存在则清空文件
    $(> temp)
    # for 循环将参数追加到当前目录的temp文件，逗号分隔，echo -n 不换行
    for i in $*;do
    	((n++))
    	if [[ n -gt 3 ]];then
    		echo -n $i" varchar(255)," >> temp
    	fi
    done
    # h2取temp文本里的字符串
    temp=$(cat temp)
    # 将字符串最后的一个逗号去掉
    h2="${temp%*,} )"
    #echo $h2
    # h3是建表语句的后半部
    h3="
    partitioned by ($2 string,$3 string)
    row format delimited 
    fields terminated by ','
    lines terminated by '\n'
    stored as textfile
    location '/user/hive/warehouse/$database.db/$1';
    "
    echo $h1$h2$h3
    
    $(hive -e "$h1$h2$h3")

### 代码实现2 ###

#!/bin/bash
    
    #string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"
    string=$*
    group=(${string//;/ })
    for i in ${group[@]};do
        ((m++))
        if [[ m -eq 1 ]];then
            tables=$i
        elif [[ m -eq 2 ]];then
            fields=$i
        else partitions=$i
        fi
    done
    # echo "tables:" $tables
    # echo "fileds:" $fields
    # echo "partitions:" $partitions
    # echo "-----------------"
    field=(${fields//,/ })
    partition=(${partitions//,/ })
    
    # 创建表目录
    $(mkdir /home/hive/observation/$tables)
    
    # 数据库名称，这里不作为参数用自变量写了
    database="observation"
    # hive 拼接语句,分为h1,h2,h3
    # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部
    h1="create external table $database.tables"
    # 在当前目录下创建文本文件temp，如果文件存在则清空文件
    $(> temp)
    # for 循环将参数追加到当前目录的temp文件，逗号分隔，echo -n 不换行
    for i in ${field[@]};do
    	echo -n $i" varchar(255)," >> temp
    done
    # h2取temp文本里的字符串
    temp=$(cat temp)
    # 将字符串最后的一个逗号去掉
    h2="( ${temp%*,} )"
    # 在当前目录下创建文本文件tmp，如果文件存在则清空文件
    $(> tmp)
    # for 循环将参数追加到当前目录的temp文件，逗号分隔，echo -n 不换行
    for i in ${partition[@]};do
    	$(mkdir /home/hive/observation/$tables/$i)
    	echo -n $i" varchar(255)," >> tmp
    done
    # h3取temp文本里的字符串
    tmp=$(cat tmp)
    # 将字符串最后的一个逗号去掉
    # h3是建表语句的后半部
    h3="
    partitioned by
    ( ${tmp%*,} )
    row format delimited 
    fields terminated by ','
    lines terminated by '\n'
    stored as textfile
    location '/user/hive/warehouse/$database.db/tables';
    "
    echo $h1$h2$h3
    #$(hive -e "$h1$h2$h3")
    #$(rm -rf tmp temp)

### 注意事项 ###

> 第一个参数是表名  
> 第二个参数是分区  
> 第三个参数是分区  
> 之后参数为表字段

> hive表类型：external  
> 普通字段：varchar(255)  
> 分区字段：string  
> 换行分隔符： \\n  
> 字段分隔符：,  
> 存储格式：textfile

用 shell 写的原因是方便任务调度框架 oozie、anzkaban 定时调度