Mac部署spark2.4.4

Posted 程序员欣宸

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mac部署spark2.4.4相关的知识,希望对你有一定的参考价值。


欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

环境信息

  1. 操作系统:macOS Mojave 10.14.6
  2. JDK:1.8.0_211 (安装位置:/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)

前提条件

请参《》一文,在Mac上事先部署好hadoop3

部署步骤

  1. 安装scala:
brew install scala
  1. 配置scala的环境变量,打开文件 ~/.bash_profile,增加以下配置内容:
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export PATH=$PATH:$SCALA_HOME/bin
  1. 执行命令 source ~/.bash_profile,再验证scala:
base) zhaoqindeMBP:~ zhaoqin$ scala -version
Scala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
  1. 下载spark,地址是:http://spark.apache.org/downloads.html ,如下图红框:
  2. 将下载的文件在 /usr/local/目录下解压,并将文件夹名字从 spark-2.4.4-bin-hadoop2.7改为 spark
  3. 配置spark的环境变量,打开文件 ~/.bash_profile,增加以下配置内容:
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
  1. 执行命令 source ~/.bash_profile使配置生效;
  2. 打开文件 spark/conf/spark-env.sh,在尾部增加以下三行:
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=2G
  1. 确保hdfs和yarn已经启动,然后执行命令 spark-shell,即可启动spark服务:
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
(base) zhaoqindeMBP:~ zhaoqin$ spark-shell
19/10/27 13:33:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://zhaoqindembp:4040
Spark context available as 'sc' (master = local[*], app id = local-1572154437623).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

至此,Mac机器上的hadoop和spark都运行起来了,希望本文能给您带来一些参考。

以上是关于Mac部署spark2.4.4的主要内容,如果未能解决你的问题,请参考以下文章

如何在安装 spark 2.4.4 后尝试运行 pyspark 时修复“TypeError:需要一个整数(获取类型字节)”错误

导致资产预编译在heroku部署上失败的代码片段

python 一个终端代码片段,在mac上生成可启动的usb live CD,以运行类似ubuntu或debian的内容。

SnippetsLab for Mac 1.9 中文共享版 – 强大的代码收藏管理工具

pyspark 代码在控制台中工作,但不在 zeppelin 中

怎样在Mac上打开docker的代码框