在windows下运行spark

Posted mrluo735

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在windows下运行spark相关的知识,希望对你有一定的参考价值。

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz

2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.7

3.配置环境变量

  HADOOP_HOME:D:\bigdata\hadoop-2.7.2

  SPARK_HOME:D:\bigdata\spark-2.0.0-bin-hadoop2.7

  Path中添加:%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

4.运行

  先运行Hadoop

  再运行spark

  cd D:\bigdata\spark-2.0.0-bin-hadoop2.7\bin

  spark-shell.cmd

  就可以打开spark控制面板了:http://localhost:4040/

以上是关于在windows下运行spark的主要内容,如果未能解决你的问题,请参考以下文章

如何在windows安装部署spark 求大神们的告知

为啥运行不成功 spark

从入门到入土 大数据学习 最简单windows下idea运行调试spark程序

在Windows下用Eclipse开发和运行Spark程序

在Windows下用Eclipse开发和运行Spark程序

Windows下IntelliJ IDEA中运行Spark Standalone