将N个数组合并为一个？

Posted 2023-03-23

【中文标题】将N个数组合并为一个？

【英文标题】：Merge N arrays into one?

【发布时间】：2019-10-10 07:54:31

【问题描述】：

我有一个名为 connection 的表，它存储 property_ids 及其现有的 API 连接。一个属性可以在同一个connection_id 上有多个apis。一个属性也可以有多个connection_ids。 apis 的重要性顺序是升序，因此 API 1 的重要性高于 API 14。

考虑到上述情况，我正在尝试选择单个 connection_id per 属性 per 天。鉴于以下数据：

+------------+-------------+---------------+----------------+
| yyyy_mm_dd | property_id | connection_id |      apis      |
+------------+-------------+---------------+----------------+
| 2019-10-01 |         100 |         123   | ['8']          |
| 2019-10-01 |         100 |         200   | ['16']         |
| 2019-10-01 |         100 |           5   | ['1','2','14'] |
+------------+-------------+---------------+----------------+

我希望返回以下内容（因为connection_id 5 拥有最低的 API 连接）：

+------------+-------------+---------------+
| yyyy_mm_dd | property_id | connection_id |
+------------+-------------+---------------+
| 2019-10-01 |         100 |           5   |
+------------+-------------+---------------+

我想实现这一点，我可以合并数组，然后在选择索引 0 处的项目之前对它们进行升序排序。但是，我觉得这可能过于复杂了。

在集合函数下，我看不到任何合并函数 - https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions。也许不合并也可以实现？

【参考方案1】：

如果您需要具有最低apis的connection_id，则可以对数组进行排序，然后以最低apis[0]记录

select yyyy_mm_dd, property_id, connection_id
  from
(
 select yyyy_mm_dd, property_id, connection_id, apis,
        row_number() over(partition by yyyy_mm_dd, property_id order by api0 ) rn
   from
      (
       select yyyy_mm_dd, property_id, connection_id, apis, sort_array(apis)[0] as api0
         from mytable
      )s
)s 
where rn=1;

如果数组是字符串，而不是整数，那么它不适用于排序，你可以分解数组，将其转换为 int 并以最低 API 记录：

select yyyy_mm_dd, property_id, connection_id
  from
(
 select yyyy_mm_dd, property_id, connection_id, apis,
        row_number() over(partition by yyyy_mm_dd, property_id order by api ) rn
   from
      (
       select t.yyyy_mm_dd, t.property_id, t.connection_id, t.apis, cast(e.api as int) as api
         from mytable t
              lateral view explode(apis) e as api
      )s
)s 
where rn=1;