数据分析--积累--presto--一列转多行--数组分割展开

我就是我 2022-10-15 14:00 25阅读 0赞

我们在做数据分析时，有时候需要使用join等作表连接，或者说 通过一些数据作关联。

但是 如果需要的数据 是存储的一列中使用逗号分割，或者存储在数组中，就不能很方便的进行表连接。

presto提供了很方便的语法，可以把列转成多行。

# 场景一 字符串 #

person表中 多个数据保存在pets使用逗号分割  
如下：

select
           name,
           pets
    from person

输出：

<table> 
 <thead> 
  <tr> 
   <th>name</th> 
   <th>pets</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zzq</td> 
   <td>summer,winter</td> 
  </tr> 
  <tr> 
   <td>ly</td> 
   <td>spring,autumn</td> 
  </tr> 
 </tbody> 
</table>

使用sql如下：

select name,split_pet
    FROM person
    CROSS JOIN UNNEST(SPLIT(pets,',')) AS t (split_pet)

输出如下：

<table> 
 <thead> 
  <tr> 
   <th>name</th> 
   <th>split_pet</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zzq</td> 
   <td>summer</td> 
  </tr> 
  <tr> 
   <td>zzq</td> 
   <td>winter</td> 
  </tr> 
  <tr> 
   <td>ly</td> 
   <td>spring</td> 
  </tr> 
  <tr> 
   <td>ly</td> 
   <td>autumn</td> 
  </tr> 
 </tbody> 
</table>

注意 非规范的字段串 可以使用replace进行处理成规范的字符串

如下：

REPLACE(pets, '(', '')

# 场景二 数组 #

person表中 多个数据保存在pets使用逗号分割  
如下：

select
           name,
           pets
    from person

输出：

<table> 
 <thead> 
  <tr> 
   <th>name</th> 
   <th>pets</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zzq</td> 
   <td>[summer,winter]</td> 
  </tr> 
  <tr> 
   <td>ly</td> 
   <td>[spring,autumn]</td> 
  </tr> 
 </tbody> 
</table>

使用sql如下：

select name,split_pet
    FROM person
    CROSS JOIN UNNEST(pets) AS t (split_pet)

输出如下：

参考文章：  
https://blog.csdn.net/mao15827639402/article/details/108246430  
https://blog.csdn.net/lzxlfly/article/details/108458110