在 Hive 中分解一行 XML 数据

Posted 2023-03-22

【中文标题】在 Hive 中分解一行 XML 数据

【英文标题】：Exploding a row of XML data in Hive

【发布时间】：2013-03-13 00:44:58

【问题描述】：

我们将 XML 数据作为名为 XML 的单个字符串列加载到 Hadoop 中。我们正在尝试检索数据级别并进行规范化或将其分解为单行以进行处理（您知道，就像一个表格！）尝试了分解功能，但没有得到我们想要的。

示例 XML

<Reports>
<Report ID="1">
<Locations>
  <Location ID="20001">
    <LocationName>Irvine Animal Shelter</LocationName>
  </Location>   
  <Location ID="20002">
    <LocationName>Irvine City Hall</LocationName>
  </Location>   
  </Locations>
</Report>
<Report ID="2">
<Locations>
  <Location ID="10001">
    <LocationName>California Fish Grill</LocationName>
  </Location>   
  <Location ID="10002">
    <LocationName>Fukada</LocationName>
  </Location>   
  </Locations>
</Report>
</Reports>

查询 1

我们正在查询更高级别的 Report.Id，然后是子级的 id 和名称（Locations/Location）。下面给了我们所有可能组合的基本笛卡尔积（在这个例子中，8 行而不是我们希望的 4 行。）

SELECT xpath_int(xml, '/Reports/Report/@ID') AS id, location_id, location_name 
FROM   xmlreports 
LATERAL VIEW explode(xpath(xml, '/Reports/Report/Locations/Location/@ID')) myTable1 AS location_id 
LATERAL VIEW explode(xpath(xml, '/Reports/Report/Locations/Location/LocationName/text()')) myTable2 AS location_name;

查询 2

试图组合成一个结构然后分解，但这会返回两行和两个数组。

SELECT id, loc.col1, loc.col2
FROM (
SELECT xpath_int(xml, '/Reports/Report/@ID') AS id, 
       array(struct(xpath(xml, '/Reports/Report/Locations/Location/@ID'), xpath(xml,     '/Reports/Report/Locations/Location/LocationName/text()'))) As foo
FROM   xmlreports) x
LATERAL VIEW explode(foo) exploded_table as loc;

结果

1   ["20001","20002"]       ["Irvine Animal Shelter","Irvine City Hall"]
2   ["10001","10002"]       ["California Fish Grill","Irvine Spectrum"]

我们想要什么

1   "20001" "Irvine Animal Shelter"
1   "20002" "Irvine City Hall"
2   "10001" "California Fish Grill"
2   "10002" "Irvine Spectrum"

似乎是一件很常见的事情，但找不到任何例子。非常感谢任何帮助。

【问题讨论】：

我认为您的情况类似于here 所描述的情况（根据您的第一次尝试，归结为explode 只有一次而不是两次）。我希望这会有所帮助。

确实阅读了其他帖子，并提出了查询 2 来尝试一下。因为那篇文章处理的是结构体数组的爆炸项目。但是，这给出了两个数组的完全出乎意料的结果。

更新，已经在外部使用 Python 来做这件事，但仍然希望有人能想出一个只使用 Hive 查询语言的解决方案。

吉姆。会告诉你如何创建你的 xmltable，可以把整个创建语法？

【参考方案1】：

我看到了解决这个问题的两种方法。

创建自定义 UDF，它将解析一个 XML 元素并返回您需要的数组。在那之后爆炸数组。

使用子选择。

我使用子选择实现了解决方案 2。即使使用 subselects Hive 是“足够聪明的”为此只创建一个 map-reduce 作业，所以我认为你不会有性能问题。

SELECT 
 l2.key,
 l2.rid,
 l2.location_id,
 location_name
FROM (
 SELECT 
  l1.key as key,  
  l1.rid as rid, 
  location_id as location_id,
  l1.xml as xml
 FROM (
   SELECT key, xml, rid
   FROM xmlreports
   LATERAL VIEW explode(xpath(xml, '/Reports/Report/@ID')) rids as rid
 ) l1
 LATERAL VIEW explode(xpath(l1.xml, concat('/Reports/Report[@ID = ',l1.rid, ']/Locations/Location/@ID'))) locids as location_id
) l2
LATERAL VIEW explode(xpath(l2.xml, concat('/Reports/Report[@ID = ',l2.rid, ']/Locations/Location[@ID = ', l2.location_id ,' ]/LocationName/text()'))) locnames as location_name;

在您提供的 XML 文件上运行此查询后，我得到了您正在搜索的结果

1   1   20001   Irvine Animal Shelter
1   1   20002   Irvine City Hall
1   2   10001   California Fish Grill
1   2   10002   Fukada

希望这能解决您的问题。

问候， 迪诺