Spark交互式工具spark-shell
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark交互式工具spark-shell相关的知识,希望对你有一定的参考价值。
REPL
Spark REPL
Spark shell
下面我们启动一下(我这里搭建的是3节点集群)
sc.后面按TAB键可以把提示调出来
查看hdfs上文件内容
这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php
试下读下里面的数据
这个可以求出有多少行
以上是关于Spark交互式工具spark-shell的主要内容,如果未能解决你的问题,请参考以下文章
Spark-Unit2-Spark交互式命令行与SparkWordCount