使用 Spark Local 从 GCS 加载数据

Posted

技术标签:

【中文标题】使用 Spark Local 从 GCS 加载数据【英文标题】:Loading data from GCS using Spark Local 【发布时间】:2019-03-08 08:10:50 【问题描述】:

出于测试目的,我正在尝试从本地计算机上的 GCS 存储桶中读取数据。我想对云中的一些数据进行采样 我已经下载了GCS Hadoop Connector JAR。

并设置sparkConf如下:

conf = SparkConf() \
    .setMaster("local[8]") \
    .setAppName("Test") \
    .set("spark.jars", "path/gcs-connector-hadoop2-latest.jar") \
    .set("spark.hadoop.google.cloud.auth.service.account.enable", "true") \
    .set("spark.hadoop.google.cloud.auth.service.account.json.keyfile", "path/to/keyfile")

sc = SparkContext(conf=conf)

spark = SparkSession.builder \
    .config(conf=sc.getConf()) \
    .getOrCreate()

spark.read.json("gs://gcs-bucket")

我也试过这样设置conf:

sc._jsc.hadoopConfiguration().set("fs.AbstractFileSystem.gs.impl",  "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.json.keyfile", "path/to/keyfile")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.enable", "true")

我通过 PIP 使用 PySpark 安装并使用 IntelliJ 的单元测试模块运行代码

py4j.protocol.Py4JJavaError: An error occurred while calling o128.json.
: java.io.IOException: No FileSystem for scheme: gs

我该怎么办?

谢谢!

【问题讨论】:

您好,您的问题解决了吗? 【参考方案1】:

要解决这个问题,除了你已经配置的属性,你还需要为fs.gs.impl属性添加配置:

sc._jsc.hadoopConfiguration().set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem")

【讨论】:

以上是关于使用 Spark Local 从 GCS 加载数据的主要内容,如果未能解决你的问题,请参考以下文章

安排定期将数据从 GCS 加载到 BigQuery

从 GCS 加载 JSON 时出错

优化 BigQuery 资源的使用,使用 Google Dataflow 从 GCS 加载 200 万个 JSON 文件

将 CSV 从 GCS 批量加载到 BigQuery 时,表数据是增量查看还是仅在所有文件加载后才可查看?

使用 Dataflow 管道 (python) 将多个 Json zip 文件从 GCS 加载到 BigQuery

无法从 Beam 中的 GCS 读取 PubSub gz 文件