“remoteContext 对象没有属性”

Posted 2023-04-15

【中文标题】“remoteContext 对象没有属性”

【英文标题】："remoteContext object has no attribute"

【发布时间】：2015-06-20 16:53:16

【问题描述】：

我在 Databrick 的云中运行 Spark 1.4。我将一个文件加载到我的 S3 实例中并安装它。安装工作。但我在创建 RDD 时遇到了麻烦：

dbutils.fs.mount("s3n://%s:%s@%s" % (ACCESS_KEY, SECRET_KEY, AWS_BUCKET_NAME), "/mnt/%s" % MOUNT_NAME)

有什么想法吗？

sc.parallelize([1,2,3])
rdd = sc.textFiles("/mnt/GDELT_2014_EVENTS/GDELT_2014.csv")

【参考方案1】：

您在将数据挂载到 dbfs 方面做得很好，这很棒，而且看起来您只是有一个小错字。我怀疑你想使用sc.textFile 而不是sc.textFiles。祝您在 Spark 的冒险中好运。