加载csv文件s3 pyspark的随机样本

Posted 2021-05-07

我正在尝试在s3中加载一个总共100万行数据的随机样本。有没有一种简单的方法可以将s3中的随机样本直接加载到pyspark数据帧中？

在熊猫中，这就像这个df = pandas.read_csv(filename, skiprows=skiplines)

我可以使用pyspark中的等价物吗？

答案

我相信火花的DataFrameReader.csv默认是lazy [引证需要]。

所以，你应该能够阅读csv并使用pyspark.sql.DataFrame.sample：

frac = 0.01 # get approximately 1%
df = spark.read.csv(filename)
sample = df.sample(withReplacement=False, fraction=frac)

但是，在应用转换之前，实际上并没有执