快速从一个空虚拟机,空idea打通提交spark

Posted 床上小老虎

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了快速从一个空虚拟机,空idea打通提交spark相关的知识,希望对你有一定的参考价值。

https://www.cnblogs.com/xxbbtt/p/8143593.html
View Code
#!/bin/bash
# Install Spark on CentOS 7
yum install java -y
java -version

yum install wget -y
wget http://downloads.typesafe.com/scala/2.11.7/scala-2.11.7.tgz
tar xvf scala-2.11.7.tgz
sudo mv scala-2.11.7 /usr/lib
sudo ln -s /usr/lib/scala-2.11.7 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin
scala -version

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.0-bin-hadoop2.6.tgz
tar xvf spark-1.6.0-bin-hadoop2.6.tgz

export SPARK_HOME=$HOME/spark-1.6.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

firewall-cmd --permanent --zone=public --add-port=6066/tcp
firewall-cmd --permanent --zone=public --add-port=7077/tcp
firewall-cmd --permanent --zone=public --add-port=8080-8081/tcp
firewall-cmd --reload

echo \'export PATH=$PATH:/usr/lib/scala/bin\' >> .bash_profile
echo \'export SPARK_HOME=$HOME/spark-1.6.0-bin-hadoop2.6\' >> .bash_profile
echo \'export PATH=$PATH:$SPARK_HOME/bin\' >> .bash_profile

# 刷新配置
source /root/.bash_profile

 

以上是关于快速从一个空虚拟机,空idea打通提交spark的主要内容,如果未能解决你的问题,请参考以下文章

为啥不在空的 Spark 集群上强制执行preferredLocations?

提交jar时的Scala-Spark NullPointerError,而不是在shell中

解决Linux虚拟机内 /mnt/hgfs路径下文件为空问题

Spark 仅获取具有一个或多个空值的列

VMware空虚拟机通过网络安装系统时获取不到IP地址情况(基于Linux的DHCP服务器)

如何在 Spark/Scala 中查找具有许多空值的列