Spark交互式工具spark-shell

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark交互式工具spark-shell相关的知识,希望对你有一定的参考价值。

REPL

技术分享

Spark REPL

 

技术分享

 

Spark shell

技术分享

 

 

 

下面我们启动一下(我这里搭建的是3节点集群)

技术分享

 

 技术分享

技术分享

 技术分享

技术分享

 

 技术分享

技术分享

 

sc.后面按TAB键可以把提示调出来

技术分享

 

 

查看hdfs上文件内容

技术分享

技术分享

技术分享

 

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

技术分享

 

 

 试下读下里面的数据

技术分享

 

 

这个可以求出有多少行

 技术分享

技术分享

 

以上是关于Spark交互式工具spark-shell的主要内容,如果未能解决你的问题,请参考以下文章

Spark-shell交互式编程

Spark-Unit2-Spark交互式命令行与SparkWordCount

Spark-Shell的启动与运行

Spark-Shell的启动与运行

如何使用 java 连接到 spark-shell 并执行 hive 查询

spark启动问题,发现任务都是在localhost下面运行的,原来启动spark-shell的时候需要带主节点的参数