2022保姆级Anaconda安装与换国内源教程

Posted 2023-04-07 NoBug2022

一、Anaconda的安装

由于Anaconda官网在境外，为了提升下载速度，我们选择从北京外国语大学镜像站下载Anaconda的安装包。

Index of /anaconda/archive/ | 北京外国语大学开源软件镜像站 | BFSU Open Source Mirrorhttps://mirrors.bfsu.edu.cn/anaconda/archive/拖动到页面最下处，选择符合自己处理器架构、操作系统的最新版本下载。

截止到写作时，Anaconda3最新版本为 2021.11，这里我们选择windows，x86_64版本。

下载，安装，一直下一步，安装结束。

二、Anaconda的换源

我们在使用conda安装包时经常会遇到莫名其妙的报错，以及突然地下载失败，这是因为下载服务器在海外，网络不稳定。

这里我们把anaconda换成国内源。

TUNA 提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch等）的镜像，各系统都可以通过修改用户目录下的 .condarc 文件。Windows 用户无法直接创建名为 .condarc 的文件，可先执行 

conda config --set show_channel_urls yes

 生成该文件之后再修改。

生成的文件在当前用户根目录下。 

将里面的内容替换为如下（四选一）：

北京外国语大学开源软件镜像站

channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.bfsu.edu.cn/anaconda
default_channels:
  - https://mirrors.bfsu.edu.cn/anaconda/pkgs/main
  - https://mirrors.bfsu.edu.cn/anaconda/pkgs/free
  - https://mirrors.bfsu.edu.cn/anaconda/pkgs/r
  - https://mirrors.bfsu.edu.cn/anaconda/pkgs/pro
  - https://mirrors.bfsu.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.bfsu.edu.cn/anaconda/cloud
  msys2: https://mirrors.bfsu.edu.cn/anaconda/cloud
  bioconda: https://mirrors.bfsu.edu.cn/anaconda/cloud
  menpo: https://mirrors.bfsu.edu.cn/anaconda/cloud
  pytorch: https://mirrors.bfsu.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.bfsu.edu.cn/anaconda/cloud

 或者

上海交通大学开源软件镜像站

channels:
  - defaults
show_channel_urls: true
channel_alias: https://anaconda.mirrors.sjtug.sjtu.edu.cn/
default_channels:
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/main
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/free
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/mro
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/msys2
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/pro
  - https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/r
custom_channels:
  conda-forge: https://anaconda.mirrors.sjtug.sjtu.edu.cn/conda-forge
  soumith: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/soumith
  bioconda: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/bioconda
  menpo: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/menpo
  viscid-hub: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/viscid-hub
  atztogo: https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/atztogo

或者

阿里巴巴开源软件镜像站

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.aliyun.com/anaconda/pkgs/main
  - http://mirrors.aliyun.com/anaconda/pkgs/r
  - http://mirrors.aliyun.com/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.aliyun.com/anaconda/cloud
  msys2: http://mirrors.aliyun.com/anaconda/cloud
  bioconda: http://mirrors.aliyun.com/anaconda/cloud
  menpo: http://mirrors.aliyun.com/anaconda/cloud
  pytorch: http://mirrors.aliyun.com/anaconda/cloud
  simpleitk: http://mirrors.aliyun.com/anaconda/cloud

或者

清华大学开源软件镜像站

channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

修改保存后，即可添加 Anaconda Python 免费仓库。

运行 

conda clean -i 

清除索引缓存，保证用的是镜像站提供的索引。

至此，Anaconda配置完成。

一点小建议：将anaconda终端的快捷方式给予管理员权限，以免产生意外错误。

太详细了，在 Windows 上安装 PySpark 保姆级教程

在本文中，我将和大家一起学习如何在 Windows 上安装和运行 PySpark，以及如何使用 Web UI 启动历史服务器和监控 Jobs。

安装 Python 或 Anaconda 发行版

https://www.python.org/downloads/windows/

从 Python.org 或 Anaconda 发行版 下载并安装 Python， 其中包括 Python、Spyder IDE 和 Jupyter notebook。我建议使用 Anaconda，因为它很受机器学习和数据科学社区的欢迎和使用。

https://www.anaconda.com/

推荐使用 Anaconda 安装 PySpark 并运行 Jupyter notebook。

技术提升

本文由技术群粉丝分享，项目源码、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

方式①、添加微信号：dkl88191，备注：来自CSDN +研究方向
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

安装 Java 8

要运行 PySpark 应用程序，需要 Java 8 或更高版本，因此从 Oracle 下载 Java 版本并将其安装在系统上。

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安装后设置 JAVA_HOME 和 PATH 变量。

JAVA_HOME = C:\\Program Files\\Java\\jdk1.8.0_201  
PATH = %PATH%;C:\\Program Files\\Java\\jdk1.8.0_201\\bin  

在 Windows 上安装 PySpark

PySpark 是一个用 Python 编写的 Spark 库，用于使用 Apache Spark 功能运行 Python 应用程序。所以没有 PySpark 库可供下载。一切只需要 Spark。按照以下步骤在 Windows 上安装 PySpark。

1. 在Spark下载页面，选择 Download Spark (第3点) 链接进行下载。如果你想使用其他版本的 Spark 和 Hadoop，请从下拉列表中选择你想要的版本，第 3 点上的链接会更改为所选版本，并为你提供更新的下载链接。

https://spark.apache.org/downloads.html

2. 下载后，解压二进制文件并将底层文件夹复制 spark-3.0.0-bin-hadoop2.7 到 c:\\apps

3. 现在设置以下环境变量。

SPARK_HOME  = C:\\apps\\spark-3.0.0-bin-hadoop2.7  
HADOOP_HOME = C:\\apps\\spark-3.0.0-bin-hadoop2.7  
PATH=%PATH%;C:\\apps\\spark-3.0.0-bin-hadoop2.7\\bin  

如果你还不知道如何在 Windows 上添加或编辑环境变量，请按照以下步骤操作。

1.打开编辑系统环境变量窗口，在高级选项卡下选择环境变量。

编辑系统环境变量

2.在以下环境变量屏幕上，通过选择新建选项添加 SPARK_HOME、 HADOOP_HOME 及 JAVA_HOME

3. 这将打开用户变量窗口，可以在其中输入变量名称和值。

4.现在编辑PATH变量

5. 通过选择新建选项添加 Spark、Java 和 Hadoop bin 路径。

在 Windows 上安装 winutils.exe

从winutils 下载 winutils.exe 文件 ，并将其复制到%SPARK_HOME%\\bin文件夹中。Winutils 对于每个 Hadoop 版本都不同，因此请从下载正确的版本。

https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

PySpark shell

现在打开命令提示符并键入 pyspark 命令以运行 PySpark shell。应该在下面看到类似的内容。

Spark-shell 还创建了一个 Spark 上下文 Web UI，默认情况下，它可以从 http://localhost:4041/ 访问。

Web UI

Apache Spark 提供了一套 Web UI（Jobs, Stages, Tasks, Storage, Environment, Executors, and SQL）来监控 Spark 应用程序的状态。

Spark Web UI

历史服务器

历史服务器，记录你通过 spark-submit、pyspark shell 提交的所有 PySpark 应用程序。在开始之前，首先需要设置以下配置 spark-defaults.conf

spark.eventLog.enabled true  
spark.history.fs.logDirectory file:///c:/logs/path  

现在，通过运行在 Linux 或 Mac 上启动历史服务器。

$SPARK_HOME/sbin/start-history-server.sh  

如果在 Windows 上运行 PySpark，可以通过启动以下命令来启动历史服务器。

$SPARK_HOME/bin/spark-class.cmd org.apache.spark.deploy.history.HistoryServer  

默认情况下，历史服务器监听 18080 端口，你可以使用http://localhost:18080/从浏览器访问它。