方案没有文件系统：oss

Posted 2023-03-28

【中文标题】方案没有文件系统：oss

【英文标题】：No FileSystem for scheme: oss

【发布时间】：2021-05-25 14:57:50

【问题描述】：

我正在使用阿里云存储来自 spark 脚本的处理数据，但我无法将数据上传到存储。我通过包含一些 jars 来了解 s3，但不知道如何在阿里巴巴 OSS 服务中做到这一点

from pyspark.sql import SparkSession

conf = SparkConf()
conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
spark = SparkSession.builder.config("spark.jars", "/home/username/mysql-connector-java-5.1.38.jar") \
    .master("local").appName("PySpark_MySQL_test").getOrCreate()

wine_df = spark.read.format("jdbc").option("url", "jdbc:mysql://db.com:3306/service_db") \
    .option("driver", "com.mysql.jdbc.Driver").option("query", "select * from transactions limit 1000") \
    .option("user", "***").option("password", "***").load()

outputPath = "oss://Bucket_name"
rdd = wine_df.rdd.map(list)
rdd.saveAsTextFile(outputPath)

【参考方案1】：

我想可能是因为你没有打开OSS的权限。 在您的 OSS 中，单击您的存储桶---授权。更改为相关规则，例如添加条件IP。 它可以为你工作。