PySpark S3 文件读取性能考虑
Posted
技术标签:
【中文标题】PySpark S3 文件读取性能考虑【英文标题】：PySpark S3 file read performance consideration 【发布时间】：2021-04-04 18:06:53 【问题描述】：我是 pyspark 的新手。 只是想了解我应该将多大的文件写入 S3，以便 Spark 可以读取这些文件并进行处理。
我有大约 400 到 500GB 的总数据，我需要先使用一些工具将它们上传到 S3。 只是想了解每个文件在 S3 中应该有多大，以便 Spark 可以有效地读取和处理。 以及 spark 将如何将 S3 文件数据分发给多个执行器？
有大神阅读链接吗？
谢谢
【问题讨论】：
【参考方案1】： 尝试使用 64-128MB，但这取决于格式。 Spark 将 S3 数据视为独立于位置，因此在其放置决策中不使用位置 - 只考虑具有额外工作能力的工作人员【讨论】：
以上是关于PySpark S3 文件读取性能考虑的主要内容，如果未能解决你的问题，请参考以下文章
使用 pyspark 从 s3 位置读取镶木地板文件的文件夹到 pyspark 数据帧