pyspark 学习 Tips
Posted ray-lei
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pyspark 学习 Tips相关的知识，希望对你有一定的参考价值。
注意在pyspark中，要加载本地文件，必须采用“file:///”开头的这种格式执行第一条命令以后，并不会马上显示结果，因为，Spark采用惰性机制，只有遇到“行动”类型的操作，才会从头到尾执行所有操作。所以，下面我们执行一条“行动”类型的语句，就可以看到结果
eg:
1 lines = sc.textFile(‘file:///usr/local/spark/mycode/rdd/word.txt‘) 2 lines.first()
以上是关于pyspark 学习 Tips的主要内容，如果未能解决你的问题，请参考以下文章
PySpark数据分析基础：pyspark.mllib.regression机器学习回归核心类详解+代码详解