解决 FAILED: UDFArgumentException explode() takes an array or a map as a parameter 并理解炸裂函数和侧视图

比眉伴天荒 2024-03-26 14:53 32阅读 0赞

## 解决 FAILED: UDFArgumentException explode() takes an array or a map as a parameter 并理解炸裂函数和侧视图 ##

### 一、解决 FAILED: UDFArgumentException explode() takes an array or a map as a parameter ###

#### 1、背景 ####

项目中数据处理后，进行查询得到的所有结果如下，其中 **genre** 字段类型，其实是一个字符串（业务逻辑处理后的结果），可视化展示，看着像一个数组而已

SELECT
        get_json_object(map_col,'$.game_name') game_name,
        get_json_object(map_col,'$.genre') genre
    FROM
    	ods_crawler_table                         
    WHERE
    	dt = '2023-02-26'       
    	AND get_json_object(map_col,'$.code') = 'xxx'

![0f2594c8844458b1dec4ac212ce4db44.png][]

#### 2、接下来想要使用explode 函数，对genre 字段进行一行转成多行 ####

SELECT
    	explode(get_json_object(map_col,'$.genre')) genre 
    FROM
    	ods_crawler_table                          
    WHERE
    	dt = '2023-02-26'       
    	AND get_json_object(map_col,'$.code') = 'xxx'

#### 3、报错 ####

错误信息：FAILED: UDFArgumentException explode() takes an array or a map as a parameter

#### 4、分析原因： ####

① 这个genre 只是表面看着是数组，其实它在业务处理后，实际上是一个String 类型  
② 并且是一个带有多余的\[\]的String 类型的  
③ 需要处理成数组类型，前提是先把多余的\[\] 去掉，然后，使用String的split 方法进行切割后返回的即是一个数组

split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ",")
    
    ------------------------------------------------------------------------------------------------------------------
    SELECT
    	split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ",") genre 
    FROM
    	ods_crawler_table                        
    WHERE
    	dt = '2023-02-26'       
    	AND get_json_object(map_col,'$.code') = 'xxx'

##### 结果如下： #####

![21beb77dee1793d04e3047576cb9156f.png][]

##### 再试试炸裂函数explode 效果： #####

SELECT
        explode(split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ","))  genre 
    FROM
    	ods_crawler_table                          
    WHERE
    	dt = '2023-02-26'       
    AND get_json_object(map_col,'$.code') = 'xxx'

![d0a228fa44b11bd0dcf0415c9254641e.png][]

至此成功炸裂~~~~~~~~~~~~~

#### 5、explode(genre) 和其他字段一起查询 ####

*  实际业务，字段game\_name，genre 都要查询

SELECT
        get_json_object(map_col,'$.game_name') game_name,
        explode(split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ","))  genre 
    FROM
    	ods_crawler_table                           
    WHERE
    	dt = '2023-02-26'       
    AND get_json_object(map_col,'$.code') = 'xxx'

##### 报错： #####

*  报错信息：UDTF’s are not supported outside the SELECT clause, nor nested in expressions

##### 分析：原因是因为这个字段genre，炸裂之后，转换成多列(3列)，而game\_name 字段依然是1列，列数不匹配 #####

##### 解决：侧视图(表)的聚合 #####

ods_crawler_table -- 原先的表
    LATERAL VIEW -- 聚合（本质上就是笛卡尔乘积）
    explode(split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ",")) v -- 炸裂后作为一个表，两个表聚合之后成v表
    as genre -- 是炸裂函数explode(split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ","))的别名
    
    
    ------------------------------------------------------------------------------------------------------------------------
    SELECT
        get_json_object(map_col,'$.game_name') game_name,
        genre 
    FROM
    	ods_crawler_table      
    LATERAL VIEW explode(split(regexp_replace(get_json_object(map_col,'$.genre'), '\\[|\\]', ''), ",")) v as genre		
    WHERE
    	dt = '2023-02-26'       
        AND get_json_object(map_col,'$.code') = 'xxx'

##### 聚合效果： #####

![582a33d221938325be939fad84dd5cc6.png][]

#### 小细节：lateral view+explode，一起使用后，有两个别名 ####

*  第一个别名是两个表聚合的别名，第二个别名是炸裂函数的别名
 *  语法
    
        tableA
        LATERAL VIEW -- 聚合
        explode(fieldB) v -- v 别名：tableA 和自身表使用了explode函数后得到的那个表，进行聚合后得到的新表
        as b -- b 别名：explode函数使用后起的别名

### 二、理解炸裂函数和侧视图 ###

#### 1、explode ： ####

##### (1) 作用：一行数据转换成多列数据，用于array和map类型的数据。 #####

##### (2) 语法和例子： #####

##### explode (array) #####

-- 炸裂字段array('A','B','C')
    select explode(array('A','B','C')) as col;

##### explode (map) #####

-- 炸裂字段 map('A', 10, 'B',10, 'C',10)
    select explode(map('A', 10, 'B',10, 'C',10)) as (key, value);

<table> 
 <thead> 
  <tr> 
   <th align="left">key</th> 
   <th align="left">value</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">A</td> 
   <td align="left">10</td> 
  </tr> 
  <tr> 
   <td align="left">B</td> 
   <td align="left">20</td> 
  </tr> 
  <tr> 
   <td align="left">C</td> 
   <td align="left">30</td> 
  </tr> 
 </tbody> 
</table>

##### posexplode (array) #####

select posexplode(array('A','B','C')) as (pos,val);

##### (3) 炸裂函数的不足： #####

炸裂某个字段之后，该字段和表其余字段的列数不匹配了，炸裂的字段不能和表的其他字段进行联合查询了。

解决：侧视图lateral view

#### 2、lateral view ####

##### (1) 作用：结合UDTF一起使用，解决单独使用UDTF函数不能添加额外的select列的问题。 #####

> lateral view会将UDTF生成的结果放到一个虚拟表中，然后这个虚拟表会和输入行进行join来达到连接UDTF外的select字段的目的。

##### (2) 语法和例子： #####

###### □ 语法： ######

tableA
    LATERAL VIEW -- 聚合
    explode(fieldB) v -- v 别名：tableA 和自身表使用了explode函数后得到的那个表，进行聚合后得到的新表
    as b -- b 别名：explode函数使用后起的别名

###### □ 例子： ######

原表格t查询结果如下：

select festival，good_name from tableA;

<table> 
 <thead> 
  <tr> 
   <th align="left">festival</th> 
   <th align="left">good_name</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">端午</td> 
   <td align="left">端阳，龙舟，重午</td> 
  </tr> 
  <tr> 
   <td align="left">中秋</td> 
   <td align="left">团圆，祭月</td> 
  </tr> 
  <tr> 
   <td align="left">春节</td> 
   <td align="left">新春，新岁，岁旦</td> 
  </tr> 
 </tbody> 
</table>

-- 使用explode 函数
    select explode(good_name) as good_name from tableA;

*  想实现的效果：节日名称和别名聚合，在使用explode 函数的时候，**直接和字段festival 一起查询** **`会报错`**
    
        select festival, explode(another_name) from tableA;
 *  **`报错`** ：UDTF’s are not supported outside the SELECT clause, nor nested in expressions，意思：explode（UDTF），不能直接和其他字段一起使用。
 *  **`解决`** ：使用 lateral view
    
        select festival, good_name 
        from tableA
        LATERAL VIEW explode(good_name) v 
        	as good_name;
 *  效果：

<table> 
 <thead> 
  <tr> 
   <th align="left">festival</th> 
   <th align="left">another_name1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">端午</td> 
   <td align="left">端阳</td> 
  </tr> 
  <tr> 
   <td align="left">端午</td> 
   <td align="left">龙舟</td> 
  </tr> 
  <tr> 
   <td align="left">端午</td> 
   <td align="left">重午</td> 
  </tr> 
  <tr> 
   <td align="left">中秋</td> 
   <td align="left">团圆</td> 
  </tr> 
  <tr> 
   <td align="left">中秋</td> 
   <td align="left">祭月</td> 
  </tr> 
  <tr> 
   <td align="left">春节</td> 
   <td align="left">新春</td> 
  </tr> 
  <tr> 
   <td align="left">春节</td> 
   <td align="left">新岁</td> 
  </tr> 
  <tr> 
   <td align="left">春节</td> 
   <td align="left">岁旦</td> 
  </tr> 
 </tbody> 
</table>

**如果本文对你有帮助的话记得给一乐点个赞哦，感谢！**

[0f2594c8844458b1dec4ac212ce4db44.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/229c3b184bb7413981093c002962e978.png
[21beb77dee1793d04e3047576cb9156f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/8e173f23cb334064adc2b2e2cade7a2e.png
[d0a228fa44b11bd0dcf0415c9254641e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/ce14f827fefa4fcf922d4794cf44e763.png
[582a33d221938325be939fad84dd5cc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d162302f583742659797e5b12c21a2de.png