Windows7下安装pyspark

Posted ttyb

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Windows7下安装pyspark相关的知识,希望对你有一定的参考价值。

安装需要如下东西:

java

jdk-8u181-windows-x64.exe

spark

spark-2.1.3-bin-hadoop2.7

技术分享图片

hadoop(版本要与spark的一致,这里都是hadoop2.7)

hadoop-2.7.7

Anaconda(这个是为了预防python出现api-ms-win-crt-runtime-l1-1-0.dll错误,且安装了vc_redist.2015.exe还无法解决时需要安装)

Anaconda3-2.4.1-Windows-x86_64.exe

python

python-3.5.4-amd64.exe

pycharm

pycharm-community-2016.1.4.exe

安装JDK

千万不要用默认路径Program Files,这个有空格后面会很坑!新建路径在C:Java,Java安装在这里!

  1. 新建环境变量名:JAVA_HOME,变量值:C:Javajdk1.8.0_11
  2. 打开PATH,添加变量值:%JAVA_HOME%in;%JAVA_HOME%jrein
  3. 新建环境变量名:CLASSPATH,变量值:.;%JAVA_HOME%libdt.jar;%JAVA_HOME%lib ools.jar

cmd 中输入 java 出现如下信息就算安装成功了

技术分享图片

安装spark

在C盘新建Spark目录,将其解压到这个路径下

技术分享图片

  1. 新建环境变量名:SPARK_HOME,变量值:C:Spark
  2. 打开PATH,添加变量值:%SPARK_HOME%in

安装hadoop

在C盘新建Hadoop目录,将其解压到这个路径下

  1. 新建环境变量名:HADOOP_HOME,变量值:C:Hadoop
  2. 打开PATH,添加变量值:%HADOOP_HOME%in

去网站下载Hadoop在Windows下的支持winutils

https://github.com/steveloughran/winutils

根据版本来选择,这里用的是 hadoop2.7,所以选择2.7bin下载下来,将其覆盖到 C:Hadoopin

修改C:Hadoopetchadoop下的hadoop-env.cmd为set JAVA_HOME=C:Javajdk1.8.0_11

cmd 中输入 hadoop 出现如下信息就算安装成功了

技术分享图片

安装python

安装路径为 C:Python35

在C盘或者代码盘新建 mphive路径,输入命令

winutils.exe chmod -R 777 C:	mphive

验证pyspark

cmd输入pyspark得到如下画面

技术分享图片

配置pycharm

在如下路径添加环境变量

  1. JAVA_HOME
  2. SPARK_HOME
  3. HADOOP_HOME
Run->Edit Configurations->Environment variables

技术分享图片

以上是关于Windows7下安装pyspark的主要内容,如果未能解决你的问题,请参考以下文章

如何在资源有限的笔记本电脑上安装 pyspark 和 spark 用于学习目的?

在Tomcat的安装目录下conf目录下的server.xml文件中增加一个xml代码片段,该代码片段中每个属性的含义与用途

Win10下配置安装PySpark和Hadoop环境

Win10下配置安装PySpark和Hadoop环境

ubuntu下pyspark的安装

如何在windows下安装配置pyspark notebook