如何处理 Spark 中的多个 csv.gz 文件？

Posted 2023-04-15

【中文标题】如何处理 Spark 中的多个 csv.gz 文件？

【英文标题】：How to deal with multiple csv.gz files in Spark?

【发布时间】：2017-07-06 09:03:47

【问题描述】：

我有一个包含多个表的庞大数据集。每个表都分成数百个 csv.gz 文件，我需要通过 PySpark 将它们导入 Spark。关于如何将“csv.gz”文件导入 Spark 的任何想法？ SparkSQL 中的 SparkContext 或 SparkSession 是否提供了导入此类文件的功能？

【问题讨论】：

sc.textFile 可以工作，但它会给你一个 RDD，为你读取的每个文件提供一个分区 sicne gzip 不是可拆分的压缩编解码器。

【参考方案1】：

您可以使用 spark.read.csv() 本地导入 gzip 压缩的 csv 文件：

from pyspark.sql import SparkSession
spark = SparkSession \
        .builder \
        .appName("***") \
        .getOrCreate()

fpath1 = "file1.csv.gz"
DF = spark.read.csv(fpath1, header=True)

DF 是一个 spark DataFrame。

您可以通过输入 list 个文件来读取多个文件：

fpath1 = "file1.csv.gz"
fpath2 = "file2.csv.gz"
DF = spark.read.csv([fpath1, fpath2] header=True)

您还可以创建允许 SQL 查询的“临时视图”：

fpath1 = "file1.csv.gz"
fpath2 = "file2.csv.gz"
DF = spark.read.csv([fpath1, fpath2] header=True)
DF.createOrReplaceTempView("table_name")

DFres = spark.sql("SELECT * FROM table_name)

其中 DFres 是从查询生成的 spark DataFrame。