如何在 AWS Glue 上编写谓词表达式

Posted 2023-04-15

【中文标题】如何在 AWS Glue 上编写谓词表达式

【英文标题】：How to write a predicate expression on AWS Glue

【发布时间】：2018-09-14 21:07:14

【问题描述】：

我是 AWS Glue 和 PySpark 的新手。下面是一个代码示例

    glue_context.create_dynamic_frame.from_catalog(
    database = "my_S3_data_set",
    table_name = "catalog_data_table",
    push_down_predicate = my_partition_predicate)

在指南中Managing Partitions for ETL Output in AWS Glue。

假设过滤数据框的SQL查询如下

    select * from catalog_data_table
    where timestamp >= '2018-1-1'

如何在 AWS Glue 上进行预过滤？

【问题讨论】：

***.com/questions/57925034/…

【参考方案1】：

一般来说，您的数据应该进行分区，然后您就可以在push_down_predicate 表达式中使用这些分区列。

请看this的回答。