控制台中的 AWS Glue 控制列顺序

Posted

技术标签:

【中文标题】控制台中的 AWS Glue 控制列顺序【英文标题】:AWS Glue control column order in console 【发布时间】:2018-07-27 13:42:00 【问题描述】:

我刚刚开始试验 AWS 胶水,我已经成功地将数据从我的 Aurora mysql 环境中提取到我的 PostgreSQL 数据库中。当爬虫为我正在试验的表创建数据目录时,所有列都乱序,然后当作业创建目标表时,列再次乱序,我假设是因为它是基于创建的脱离爬虫生成的内容。如何使目录中的表结构与源数据库中的表结构匹配?

【问题讨论】:

【参考方案1】:

你可以简单地打开爬虫创建的tabke,然后点击“edit schema”,点击每行开头的数字并更改它们,即行的顺序号。

【讨论】:

是的,我看到了...似乎应该有更简单的方法。作为 SSIS 用户,当我设置数据源时,它会自动保留列顺序。我知道 Glue 是一种新产品,也许他们会在以后添加。看起来他们一直在定期添加新功能和可用区。

以上是关于控制台中的 AWS Glue 控制列顺序的主要内容,如果未能解决你的问题,请参考以下文章

AWS Glue 开发终端节点无法正常工作

如何修复 AWS Glue 代码以显示来自 AWS S3 的分区表的计数和架构

字符串长度超过 Glue 中的 DDL 长度(python,pyspark)

AWS Glue 布尔转换

在 AWS Glue 中转换其他列的数据类型时,某些列变为空

如何使用 AWS Glue 从嵌套 json 字段/结构中的 DynamicFrame 访问数据