如何使用 AWS 胶水获取存储在 s3 中的模式或已处理的嵌套 json 文件压缩（gzip）？
Posted
技术标签:
【中文标题】如何使用 AWS 胶水获取存储在 s3 中的模式或已处理的嵌套 json 文件压缩（gzip）？【英文标题】：How to get schema or processed Nested json file compressed(gzip) stored in s3 using AWS glue? 【发布时间】：2020-07-29 22:44:24 【问题描述】：如何使用 AWS 胶水获取存储在 s3 中的架构或已处理的嵌套 json 文件压缩（gzip）？
我想获取嵌套 json 压缩 (gzip) 文件的架构，使用 aws 胶水或任何其他工具存储在 s3 中，然后在 Athena 中使用该架构来分析数据？
有什么办法不用写zeepline代码 https://aws.amazon.com/blogs/big-data/simplify-querying-nested-json-with-the-aws-glue-relationalize-transform/
【问题讨论】：
【参考方案1】：获取该架构的最简单方法是使用 Glue Crawler。您可以创建一个爬虫，将其指向 s3 中的路径，即爬虫上的包含路径：有关详细信息，请参阅以下内容： https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html
【讨论】：
以上是关于如何使用 AWS 胶水获取存储在 s3 中的模式或已处理的嵌套 json 文件压缩（gzip）？的主要内容，如果未能解决你的问题，请参考以下文章
如何使用 pyspark 在 aws 胶水中展平嵌套 json 中的数组？
当我使用作业胶水时，Amazon S3 中的数据是不是会在公共互联网上传输？
aws 胶水 pyspark 删除数组中的结构，但保留数据并保存到 dynamodb