将拼花地板转换为json以进行dynamodb导入

Posted 2021-05-04

我正在使用AWS Glue作业以拼花格式备份s3中的dynamodb表，以便能够在Athena中使用它。

如果我想使用这些实木复合地板格式的s3文件来还原dynamodb中的表，这就是我的想法-读取每个实木复合地板文件并将其转换为json，然后将json格式的数据插入dynamodb（在下面的行上使用pyspark）

# set sql context
parquetFile = sqlContext.read.parquet(input_file)
parquetFile.write.json(output_path)

使用-https://github.com/Alonreznik/dynamodb-json将普通json转换为预期的json发电机

这种方法听起来正确吗？此方法还有其他选择吗？

答案

您可以使用AWS Glue将Parquet格式直接转换为JSON，然后创建一个lambda函数，该函数在S3上触发并加载到DyanmoDB中]

https://medium.com/searce/convert-csv-json-files-to-apache-parquet-using-aws-glue-a760d177b45f

另一答案

您的方法会起作用，但是您可以直接写到DynamoDB。您只需在运行jar时导入几个pyspark。看看这个：https://github.com/audienceproject/spark-dynamodb

希望这会有所帮助。