pySpark加载数据

Posted 2020-11-21 giserpan

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pySpark加载数据相关的知识，希望对你有一定的参考价值。

1、加载本地文件

lines=sc.textFile(‘file:/home/pxy/data/GoodBooks.csv‘)
for line in lines.take(5):
    print line.encode(‘utf-8‘)

效果：

技术分享图片

2、从HDFS加载数据

lines=sc.textFile(‘hdfs://localhost:9000/pxy/film/GoodBooks.csv‘)
TopFive=lines.take(5)
for line in TopFive[1:]:
    print line.encode(‘utf-8‘)

效果：

技术分享图片

以上是关于pySpark加载数据的主要内容，如果未能解决你的问题，请参考以下文章