spark伪分布式的安装

Posted 2020-08-12 IT小甲鱼

不依赖hadoop

百度分享安装包地址：http://pan.baidu.com/s/1dD4BcGT 点击打开链接

解压 并重命名：

 

 

进入spark100目录：

修改配置：

Cd conf

配置单击节点，故只需要写本机的hostname就可以了。

 

重命名Spark-env.sh.template 为 spark-env.sh

增加配置项： 

1. export SPARK_MASTER_IP=icity1  
2. export SPARK_MASTER_PORT=7077  
3. export SPARK_WORKER_CORES=1  
4. export SPARK_WORKER_INSTANCES=1  
5. export SPARK_WORKER_MEMORY=1g 
6. export JAVA_HOME=/jdk/jdk1.7.0_65(提前配置好java环境)

如图所示：

 

 启动

 

监控页面效果：

 

 

 

 

进入spark-shell：（运行完后点击回车键就可以写scala代码）

 

 

 

 

 

 

 

 

 

选用了外部文件：

 

区别于hdfs的读取方式：

 

 

 

 

 

 

 

退出spark-shell：exit

 

 

 

顶