如何使用pyspark使用的通配符读取hdfs文件

Posted 2023-04-15

【中文标题】如何使用pyspark使用的通配符读取hdfs文件

【英文标题】：how to read hdfs file with wildcard character used by pyspark

【发布时间】：2018-05-13 04:32:34

【问题描述】：

有一些 parquet 文件路径是：

/a/b/c='str1'/d='str'

/a/b/c='str2'/d='str'

/a/b/c='str3'/d='str'

我想像这样读取镶木地板文件：

df = spark.read.parquet('/a/b/c='*'/d='str')

但使用"*" 通配符不起作用。我该怎么做？谢谢你的帮助

【参考方案1】：

你需要转义单引号：

df = spark.read.parquet('/a/b/c=\'*\'/d=\'str\'')

... 或者只使用双引号：

df = spark.read.parquet("/a/b/c='*'/d='str'")

【讨论】：

@ZhangXin 嗯，应该可以了。 HDFS 路径是否包含这些引号？另外，请提供您拥有的确切代码 - '/a/b/c='*'/d='str' 不是有效的 Python 字符串