spark textFile读取多个文件
Posted yyy-blog
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark textFile读取多个文件相关的知识，希望对你有一定的参考价值。
1.spark textFile读取File
1.1 简单读取文件
val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() // 读取hdfs文件目录 spark.sparkContext.textFile("/user/data") spark.sparkContext.textFile("hdfs://10.252.51.58:8088/user/data") // 读取本地目录 spark.sparkContext.textFile("file://user/data")
1.2 正则模式读取文件
val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() // 读取hdfs文件目录 spark.sparkContext.textFile("/user/data/201908/0[1-9]/*")
2.spark textFile读取多个File
2.1 将多个文件变成一个 list 作为参数
正确写法：sc.TextFile( filename1 + "," + filename2 + "," + filename3)
val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() val fileList = Array("/user/data/source1","/user/data/source2","/user/data/source3") // 读取hdfs文件目录 spark.sparkContext.textFile(fileList.mkString(","))
2.2 使用 union 连接
val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() val fileList = Array("/user/data/source1","/user/data/source2","/user/data/source3") //array[RDD] val fileRDD:Array[RDD[String]] = fileList.map(spark.sparkContext.textFile(_) spark.sparkContext.union(fileRDD)
以上是关于spark textFile读取多个文件的主要内容，如果未能解决你的问题，请参考以下文章
Spark源码解读--spark.textFile()读取流程
Spark 使用 sc.textFile ("s3n://...) 从 S3 读取文件