如何仅读取目录中的前 5 个文件夹：Spark

Posted 2023-04-15

【中文标题】如何仅读取目录中的前 5 个文件夹：Spark

【英文标题】：How to read just first 5 folders inside a directory : Spark

【发布时间】：2016-07-06 15:43:35

【问题描述】：

我有一个目录下的文件夹列表（例如：2016/06/03/00/File.json.gz"））。目前我正在阅读所有文件：

val df = sqlContext.jsonFile("s3://testData/2016/06/*/*/*") 
df.show()

但我只想读取 06 内的前 5 个文件夹（所有文件夹都像 01...30 - 天，每个文件夹都有小时文件夹 -00..23，其中包含 josnfiles）

我可以这样做吗：

val df = sqlContext.jsonFile("s3://testData/2016/06/0*/*/*") 

我只想阅读 01, 02, 03, 04 ,05 个文件夹（5 天），其余的保留

有没有更好的方法来做到这一点？

【参考方案1】：

试试这个：

val df = sqlContext.jsonFile("s3://testData/2016/06/0[1-5]/*/*")