Bigquery 分区表中的重复项

Posted 2023-03-24

【中文标题】Bigquery 分区表中的重复项

【英文标题】：Duplicates in Bigquery partitioned Table

【发布时间】：2021-04-30 13:34:40

【问题描述】：

我发现数据有问题，我正在尝试查找插入不同日期分区的重复数据，现在我想保留旧日期的数据并删除最新摄取的数据。

例如：-

在屏幕截图中，您看到两行中的数据相同，但由于某些问题，相同的数据也被插入到 2021-04-28 中，现在我想删除 2021-04-28 分区中的所有此类记录。并保留04-27的数据和04-28的实际行数。

有人可以分享查询以查找这些重复项并查询以消除 2021-04-28 分区中的重复项。

以下是我为识别重复项而编写的查询，但看起来并不完全正确。

select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte from
(select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_sdte, row_number() over(partition by grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte order by trvl_dte desc)rn from  table_name)a where rn=1

【参考方案1】：

您的查询是正确的。 以更易读的方式，它可以是：

SELECT * EXCEPT(rownum)
FROM (
    SELECT 
        *,
        ROW_NUMBER() OVER (PARTITION BY grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr ORDER BY trvl_dte ) rownum
    FROM `yourtable`
    )
WHERE rownum = 1

编辑：trvl_dte 列不应包含在 PARTITION BY 语句中。另外，由于您想保留最早的 trvl_dte，因此您需要 ORDER BY trvl_dte ASC 而不是 DESC。

【讨论】：

这不起作用，输出不符合我的预期。

现在应该可以了，你试一试了吗？

是的，这行得通。我也想通了，不过谢谢你的建议。