如何将分号分隔的数据拆分为配置单元中的列并转置它？

Posted 2023-04-17

【中文标题】如何将分号分隔的数据拆分为配置单元中的列并转置它？

【英文标题】：How to split semicolon separated data to columns in hive and also transpose it?

【发布时间】：2015-06-29 11:28:06

【问题描述】：

我在 hive 表中有一个以下格式的数据集。

<br><b>|Col_1&nbsp;| Col_2&nbsp; &nbsp;|Col_3</b></<br>
<br>|abc_1&nbsp;|&nbsp;a;b;c;d&nbsp;&nbsp;|m;n</br>
<br>|abc_2  | e;f;d &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|l;h;p<br>

我需要将数据转换成以下格式。

<br><b>|Col_1&nbsp;|&nbsp;Col_2_OR_3&nbsp;|Value</b></<br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;a</br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;b</br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;c</br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;d</br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;m</br>
<br>|abc_1&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;n</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;e</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;f</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;d</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;l</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;h</br>
<br>|abc_2&nbsp;|&nbsp;&nbsp;&nbsp;&nbsp;Col_3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|&nbsp;p</br>

数据最初在 Col_1 中的值是唯一的。Col_2 和 Col_3 中的分号分隔值需要分开并转置为新列 Value 并且需要创建另一列 Col_2_OR_3，其中包含从 Col_2Col_2 中选择分号分隔值的列的列标题值strong> 或 Col_3。

【参考方案1】：

select col_1,'Col_2',col_2_al
from <table_name>
lateral view explode(split(col_2, "\\\;")) col_2_al as col_2_al 
union all
select col_1,'Col_3',col_2_al
from <table_name>
lateral view explode(split(col_3,"\\\;")) col_3_al as col_2_al