Spark-02 spark安装

Posted daysn

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark-02 spark安装相关的知识,希望对你有一定的参考价值。

1.安装过程

技术图片

 

技术图片

在/opt目录下安装spark集群

技术图片

在conf下面的slaves.template(slave:主从),复制一份变为slaves,把从节点的主机名搞进去

技术图片

配置etc/profile,source一下

 技术图片

几台机子之间还得搞一下免密登录。配置好免密登录启动即可

 standalone用的是master进程,如果没有用那个

 技术图片

 

技术图片

pipeline和spark的套路差不多的。

技术图片

 

 技术图片

 

以上是关于Spark-02 spark安装的主要内容,如果未能解决你的问题,请参考以下文章

初见spark-02(RDD及其简单算子)

Spark02

spark02-内存数据分区分配原理

Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序

[Hadoop][Spark]Cluster and HA

Spark 1.60的executor schedule