从Hive表中选择每列的随机行数

Posted 2021-04-09

我正在尝试为列hash的每个不同值检索一个随机行。我还需要dt列。

到目前为止，我到达了这个不起作用的查询：

INSERT OVERWRITE TABLE t PARTITION(dt)
    SELECT hash, dt FROM (
        SELECT hash, RAND() as r, dt FROM t1
            UNION
        SELECT hash, RAND() as r, dt FROM t2
    ) result
    WHERE r IN (SELECT MAX(r) FROM result WHERE hash=result.hash);

由于在FROM子句Table not found 'result'中使用它，查询因FROM result错误而失败。

如何修复此查询或此处使用的其他方法？

答案

您可以使用row_number获取由r排序的每个哈希的最大值的行。

INSERT OVERWRITE TABLE t PARTITION(dt)
    SELECT hash,dt
    FROM (SELECT hash, dt, row_number() over(partition by hash order by r desc) as rnum 
          FROM (SELECT hash, RAND() as r, dt FROM t1
                UNION ALL
                SELECT hash, RAND() as r, dt FROM t2
               ) result
         ) t
    WHERE rnum=1