如何检查大型镶木地板文件中的列是不是已被修改？

Posted 2023-04-15

【中文标题】如何检查大型镶木地板文件中的列是不是已被修改？

【英文标题】：How to check if columns in a large parquet file have been modified?如何检查大型镶木地板文件中的列是否已被修改？

【发布时间】：2020-01-11 00:28:33

【问题描述】：

我经常在大型 parquet 文件存储库上运行 pyspark 脚本以进行数据分析。此存储库中的文件会定期更新（a）新行和（b）每列中现有行的不同值。

我想知道是否有一种方法可以检查 parquet 文件中的某些列与以前的版本相比是否以某种方式进行了修改，这样我就可以通过在未修改列时不重复分析来节省时间?

【问题讨论】：

您的 parquet 文件中有主键吗？

【参考方案1】：

镶木地板格式或火花没有属性可以帮助现成。您需要构建元数据来帮助操作。

您可以使用一个列来存储“更新日期”，并使用另一列来存储一系列更新的列。您可以使用partitionBy and saveAsTable按“更新日期”列对数据进行分区，以便快速扫描最新的更新记录。