ipython怎么安装pyspark

Posted 2023-04-25

参考技术A 1. 下载安装Python 下载: python-3.3.3.amd64.msi (在Python.org下载就好了) 安装: 直接双击安装
2. 下载安装Setuptools 下载ez_setup.py 到某一个目录(如: D:\tools\ez_setup.py), 安装: 进入D:\tools\, 运行: c:\Python33\python.exe d:\tools\ez_setup.py 在这个过程中, 系统会连接网络下载所需要的安装包并完成安装. 这样就可以使用easy_install了。
3. 下载安装pip 下载ez_setup.py 到某一个目录(如: e:\tools\get-pip.py), 安装: 进入d:\tools\, 运行: c:\Python33\python.exe get-pip.py 在这个过程中, 系统会连接网络下载所需要的安装包并完成安装
4. 设置环境变量 把c:\Python33 和c:\Python33\Scripts 都添加到环境变量中. 如 c:>set PATH=%PATH%;c:\Python33;c:\Python33\Scripts 作完前面四步, 就可以在Windows下面开始使用Python了.

Anaconda中配置Pyspark的Spark开发环境

1.windows下载并安装Anaconda集成环境

  URL:https://www.continuum.io/downloads

2.在控制台中测试ipython是否启动正常

  

3.安装JDK

   3.1环境变量配置：

   

  

  

  3.2测试：

4.安装Spark并配置环境变量

  4.1 URL: http://spark.apache.org/downloads.html

    

 

  4.2解压到本地磁盘的对应目录

       

 4.3配置环境变量

      

      

5.Pyspark配置

     5.1配置如下系统变量

    

    

   5.2修改spark\\conf下的spark-env文件

    在文件末尾加入如下三行

    export PYSPARK_PYTHON=/E:/ProgramCJ/Anaconda2
    export PYSPARK_DRIVER_PYTHON=/E:/ProgramCJ/Anaconda2
    export PYSPARK_SUBMIT_ARGS=\'--master local[*]\'

6.测试Pyspark是否安装成功

    6.1命令行中输入pyspark测试

    

    6.2 显示如下，并新建python root

      

      6.3测试sc的spark变量是否可用

         

 注意：1.下载Spark请选择已经编译好的版本，如果选择源码版本，请使用maven或sbt进行编译即可，方法为进入Spark安装目录，使用> sbt package   进行编译

         2.拷贝 E:\\spark\\python\\pyspark  到 D:\\anaconda\\Lib\\site-packages 目录下