python pyspark textFile

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python pyspark textFile相关的知识，希望对你有一定的参考价值。

## Move data between HDF-S and Spark - pyspark
# read some text file
sc.textFile("sqoop_import/departments").take(1)
# looping into a rdd
data=sc.textFile("sqoop_import/departments")
for i in data.collect():
    print(i)
# reading from local fs
sc.textFile("file:///tmp/departments.json").take(3)

以上是关于python pyspark textFile的主要内容，如果未能解决你的问题，请参考以下文章