通配符不能在 wholeTextFiles 中使用

Posted 2023-04-15

【中文标题】通配符不能在 wholeTextFiles 中使用

【英文标题】：wildcard can’t be used in wholeTextFiles

【发布时间】：2019-12-07 10:28:58

【问题描述】：

我尝试将文件夹/子文件夹中的 XML 文件保存为 WholeText 文件，但是当我尝试使用时

sc.wholeTextFiles("folder/*/*.xml")

我收到一个错误：

llegalArgumentException: 'java.net.URISyntaxException: 预期 索引处特定于方案的部分

我正在使用数据块

【问题讨论】：

'java.net.URISyntaxException - 蟒蛇？斯卡拉？

在这两个数据块中我都遇到了同样的错误

该错误似乎与您的路径架构有关。您的文件在哪里？ (hdfs, storage,.. ?)

@blackbishop，它在 dbfs 中

您是否在路径中添加了dbfs:？ (sc.wholeTextFiles("dbfs:/folder/*/*.xml"))

【参考方案1】：

确定问题的路径原因。问题是其中一个文件夹中的“：”导致了这个问题。参考 github.com/apache/spark/pull/4368