从 Amazon S3 创建表时，Athena 如何将数据与正确的字段匹配？

Posted 2023-03-31

【中文标题】从 Amazon S3 创建表时，Athena 如何将数据与正确的字段匹配？

【英文标题】：How does Athena match data to the correct fields when creating a table from Amazon S3?

【发布时间】：2021-09-13 12:10:25

【问题描述】：

我仍在处理 Athena，如果这个问题没有意义，我深表歉意。我正在尝试从我上传到我的 Amazon S3 存储桶的 csv 文件在 Athena 中创建一个表。在 Athena 上的表创建过程中，我需要定义字段名称和数据类型。这些字段如何与存储在 Amazon S3 存储桶中的字段匹配？仅仅是它们在 csv 中出现的顺序吗？

【参考方案1】：

是的，具体取决于订单。 https://docs.aws.amazon.com/athena/latest/ug/csv-serde.html

【参考方案2】：

这取决于数据格式和使用的 serde。对于 CSV 数据，列按索引映射。 regex 和 grok serde 以及 ORC 也是如此。 JSON、Avro 和 Parquet 改为按名称映射。

Grok、ORC 和 Parquet 可以配置为索引或名称，但以上为默认值。