如何将 PyCharm 与 PySpark 链接？

Posted

技术标签:

【中文标题】如何将 PyCharm 与 PySpark 链接？【英文标题】：How to link PyCharm with PySpark? 【发布时间】：2016-01-08 20:55:36 【问题描述】：

我是 apache spark 的新手，显然我在我的 macbook 中安装了带有 homebrew 的 apache-spark：

Last login: Fri Jan  8 12:52:04 on console
user@MacBook-Pro-de-User-2:~$ pyspark
Python 2.7.10 (default, Jul 13 2015, 12:05:58)
[GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/01/08 14:46:44 INFO SparkContext: Running Spark version 1.5.1
16/01/08 14:46:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/01/08 14:46:47 INFO SecurityManager: Changing view acls to: user
16/01/08 14:46:47 INFO SecurityManager: Changing modify acls to: user
16/01/08 14:46:47 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(user); users with modify permissions: Set(user)
16/01/08 14:46:50 INFO Slf4jLogger: Slf4jLogger started
16/01/08 14:46:50 INFO Remoting: Starting remoting
16/01/08 14:46:51 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.1.64:50199]
16/01/08 14:46:51 INFO Utils: Successfully started service 'sparkDriver' on port 50199.
16/01/08 14:46:51 INFO SparkEnv: Registering MapOutputTracker
16/01/08 14:46:51 INFO SparkEnv: Registering BlockManagerMaster
16/01/08 14:46:51 INFO DiskBlockManager: Created local directory at /private/var/folders/5x/k7n54drn1csc7w0j7vchjnmc0000gn/T/blockmgr-769e6f91-f0e7-49f9-b45d-1b6382637c95
16/01/08 14:46:51 INFO MemoryStore: MemoryStore started with capacity 530.0 MB
16/01/08 14:46:52 INFO HttpFileServer: HTTP File server directory is /private/var/folders/5x/k7n54drn1csc7w0j7vchjnmc0000gn/T/spark-8e4749ea-9ae7-4137-a0e1-52e410a8e4c5/httpd-1adcd424-c8e9-4e54-a45a-a735ade00393
16/01/08 14:46:52 INFO HttpServer: Starting HTTP Server
16/01/08 14:46:52 INFO Utils: Successfully started service 'HTTP file server' on port 50200.
16/01/08 14:46:52 INFO SparkEnv: Registering OutputCommitCoordinator
16/01/08 14:46:52 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/01/08 14:46:52 INFO SparkUI: Started SparkUI at http://192.168.1.64:4040
16/01/08 14:46:53 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
16/01/08 14:46:53 INFO Executor: Starting executor ID driver on host localhost
16/01/08 14:46:53 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 50201.
16/01/08 14:46:53 INFO NettyBlockTransferService: Server created on 50201
16/01/08 14:46:53 INFO BlockManagerMaster: Trying to register BlockManager
16/01/08 14:46:53 INFO BlockManagerMasterEndpoint: Registering block manager localhost:50201 with 530.0 MB RAM, BlockManagerId(driver, localhost, 50201)
16/01/08 14:46:53 INFO BlockManagerMaster: Registered BlockManager
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.5.1
      /_/

Using Python version 2.7.10 (default, Jul 13 2015 12:05:58)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

我想开始玩以了解有关 MLlib 的更多信息。但是，我使用 Pycharm 在 python 中编写脚本。问题是：当我去 Pycharm 并尝试调用 pyspark 时，Pycharm 找不到该模块。我尝试将路径添加到 Pycharm 如下：

然后从blog 我尝试了这个：

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="/Users/user/Apps/spark-1.5.2-bin-hadoop2.4"

# Append pyspark  to Python Path
sys.path.append("/Users/user/Apps/spark-1.5.2-bin-hadoop2.4/python/pyspark")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print ("Successfully imported Spark Modules")

except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

仍然无法开始将 PySpark 与 Pycharm 一起使用，知道如何将 PyCharm 与 apache-pyspark “链接”吗？。

更新：

然后我搜索apache-spark和python路径，以便设置Pycharm的环境变量：

apache-spark 路径：

user@MacBook-Pro-User-2:~$ brew info apache-spark
apache-spark: stable 1.6.0, HEAD
Engine for large-scale data processing
https://spark.apache.org/
/usr/local/Cellar/apache-spark/1.5.1 (649 files, 302.9M) *
  Poured from bottle
From: https://github.com/Homebrew/homebrew/blob/master/Library/Formula/apache-spark.rb

python 路径：

user@MacBook-Pro-User-2:~$ brew info python
python: stable 2.7.11 (bottled), HEAD
Interpreted, interactive, object-oriented programming language
https://www.python.org
/usr/local/Cellar/python/2.7.10_2 (4,965 files, 66.9M) *

然后根据以上信息我尝试设置环境变量如下：

知道如何正确链接 Pycharm 和 pyspark 吗？

然后，当我使用上述配置运行 python 脚本时，我遇到了这个异常：

/usr/local/Cellar/python/2.7.10_2/Frameworks/Python.framework/Versions/2.7/bin/python2.7 /Users/user/PycharmProjects/spark_examples/test_1.py
Traceback (most recent call last):
  File "/Users/user/PycharmProjects/spark_examples/test_1.py", line 1, in <module>
    from pyspark import SparkContext
ImportError: No module named pyspark

更新： 然后我尝试了@zero323 提出的这个配置

配置一：

/usr/local/Cellar/apache-spark/1.5.1/

出来：

 user@MacBook-Pro-de-User-2:/usr/local/Cellar/apache-spark/1.5.1$ ls
CHANGES.txt           NOTICE                libexec/
INSTALL_RECEIPT.json  README.md
LICENSE               bin/

配置2：

/usr/local/Cellar/apache-spark/1.5.1/libexec

出来：

user@MacBook-Pro-de-User-2:/usr/local/Cellar/apache-spark/1.5.1/libexec$ ls
R/        bin/      data/     examples/ python/
RELEASE   conf/     ec2/      lib/      sbin/

【问题讨论】：

【参考方案1】：

使用 PySpark 包（Spark 2.2.0 及更高版本）

SPARK-1267 被合并后，您应该能够通过在您用于 PyCharm 开发的环境中安装 Spark，pip 来简化流程。

    转到文件 -> 设置 -> 项目解释器

    点击安装按钮并搜索 PySpark

    点击安装包按钮。

手动使用用户提供的 Spark 安装

创建运行配置：

    转到运行 -> 编辑配置 添加新的 Python 配置 设置脚本路径，使其指向您要执行的脚本

    编辑环境变量字段，使其至少包含：

    SPARK_HOME - 它应该指向安装 Spark 的目录。它应该包含诸如bin（带有spark-submit、spark-shell等）和conf（带有spark-defaults.conf、spark-env.sh等）等目录

    PYTHONPATH - 它应该包含$SPARK_HOME/python 和可选的$SPARK_HOME/python/lib/py4j-some-version.src.zip，如果其他情况下不可用。 some-version 应该匹配给定 Spark 安装使用的 Py4J 版本（0.8.2.1 - 1.5、0.9 - 1.6、0.10.3 - 2.0、0.10.4 - 2.1、0.10.4 - 2.2、0.10.6 - 2.3、0.10。 7 - 2.4)

    应用设置

将 PySpark 库添加到解释器路径（代码完成所需）：

    转到文件 -> 设置 -> 项目解释器 打开您要与 Spark 一起使用的解释器的设置 编辑解释器路径，使其包含$SPARK_HOME/python 的路径（如果需要，可以使用 Py4J） 保存设置

可选

    安装或添加到路径 type annotations 匹配已安装的 Spark 版本以获得更好的完成和静态错误检测（免责声明 - 我是该项目的作者）。

终于

使用新创建的配置来运行您的脚本。

【讨论】：

顺便说一句，这就是您编辑解释器路径的方式，至少在 PyCharm 2016 中：jetbrains.com/help/pycharm/2016.1/… 选择“显示所选解释器的路径”按钮 在 Mac 版本的 PyCharm (v-2017.2) 上，项目解释器位于 Preferences... 而不是 File/Settings 使用选项 1，如何添加 Spark JAR/包？例如，我需要 com.databricks:spark-redshift_2.10:3.0.0-preview1 @lfk 通过配置文件 (spark-defaults.conf) 或通过提交参数 - 与 Jupyter notebook 相同。提交参数可以在 PyCharm 的环境变量中定义，而不是代码，如果你喜欢这个选项。【参考方案2】：

这是我在 mac osx 上解决此问题的方法。

    brew install apache-spark

    将此添加到 ~/.bash_profile

    export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1`
export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

    将 pyspark 和 py4j 添加到内容根目录（使用正确的 Spark 版本）：

    /usr/local/Cellar/apache-spark/1.6.1/libexec/python/lib/py4j-0.9-src.zip
/usr/local/Cellar/apache-spark/1.6.1/libexec/python/lib/pyspark.zip

【讨论】：

这是哪个版本的pycharm？我使用的是 2016.1 社区版，但没有看到此窗口。 2016.1 我在 osx 上，但应该类似。转到“首选项”下。点击左侧的项目。 谢谢。这在没有项目解释器设置的 IntelliJ IDEA 上帮助了我。 您能解释一下添加到内容根目录的作用吗？我不需要这样做...我只是将$SPARK_HOME/python 放在解释器类路径中并添加了环境变量，它按预期工作。 @cricket_007 第三点：Add pyspark and py4j to content root (use the correct Spark version) 帮助我完成了代码。您是如何通过更改 Project Interpreter 来完成的？【参考方案3】：

这是适合我的设置（Win7 64bit，PyCharm2017.3CE）

设置智能感知：

    点击文件->设置->项目：->项目解释器

    单击 Project Interpreter 下拉列表右侧的齿轮图标

    从上下文菜单中单击更多...

    选择解释器，然后点击“显示路径”图标（右下角）

    点击+图标二添加如下路径：

    \python\lib\py4j-0.9-src.zip

    \bin\python\lib\pyspark.zip

    点击确定，确定，确定

继续测试您的新智能感知功能。

【讨论】：

非常需要的答案:)【参考方案4】：

在pycharm（windows）中配置pyspark

File menu - settings - project interpreter - (gearshape) - more - (treebelowfunnel) - (+) - [add python folder form spark installation and then py4j-*.zip] - click ok

确保在 windows 环境中设置了 SPARK_HOME，pycharm 将从那里获取。确认：

Run menu - edit configurations - environment variables - [...] - show

可选择在环境变量中设置 SPARK_CONF_DIR。

【讨论】：

【参考方案5】：

我使用以下页面作为参考，并且能够在 PyCharm 5 中导入 pyspark/Spark 1.6.1（通过自制软件安装）。

http://renien.com/blog/accessing-pyspark-pycharm/

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="/usr/local/Cellar/apache-spark/1.6.1"

# Append pyspark  to Python Path
sys.path.append("/usr/local/Cellar/apache-spark/1.6.1/libexec/python")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
sys.exit(1)

通过上述方式，pyspark 加载，但是当我尝试创建 SparkContext 时出现网关错误。自制程序中的 Spark 存在一些问题，所以我只是从 Spark 网站上获取了 Spark（下载 Pre-built for Hadoop 2.6 及更高版本）并指向其下的 spark 和 py4j 目录。这是pycharm中的代码！

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6"

# Need to Explicitly point to python3 if you are using Python 3.x
os.environ['PYSPARK_PYTHON']="/usr/local/Cellar/python3/3.5.1/bin/python3"

#You might need to enter your local IP
#os.environ['SPARK_LOCAL_IP']="192.168.2.138"

#Path for pyspark and py4j
sys.path.append("/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6/python")
sys.path.append("/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

sc = SparkContext('local')
words = sc.parallelize(["scala","java","hadoop","spark","akka"])
print(words.count())

我从这些说明中得到了很多帮助，它们帮助我在 PyDev 中进行故障排除，然后让 PyC​​harm 正常工作 - https://enahwe.wordpress.com/2015/11/25/how-to-configure-eclipse-for-developing-with-python-and-spark-on-hadoop/

我敢肯定，有人花了几个小时将头撞在他们的显示器上试图让这个工作正常进行，所以希望这有助于他们保持理智！

【讨论】：

【参考方案6】：

我使用conda 来管理我的 Python 包。所以我在 PyCharm 之外的终端中所做的只是：

conda install pyspark

或者，如果你想要一个更早的版本，比如 2.2.0，那么：

conda install pyspark=2.2.0

这也会自动引入 py4j。然后 PyCharm 不再抱怨 import pyspark... 并且代码完成也起作用了。请注意，我的 PyCharm 项目已经配置为使用 Anaconda 附带的 Python 解释器。

【讨论】：

【参考方案7】：

最简单的方法是通过项目解释器安装 PySpark。

    转到文件 - 设置 - 项目 - 项目解释器 点击右上角的 + 图标。 搜索 PySpark 和其他要安装的软件包 最后点击安装包 完成了！！

【讨论】：

【参考方案8】：

查看this video.

假设你的 spark python 目录是：/home/user/spark/python

假设你的 Py4j 源是：/home/user/spark/python/lib/py4j-0.9-src.zip

基本上，您将 spark python 目录和其中的 py4j 目录添加到解释器路径中。我没有足够的声誉来发布屏幕截图，否则我会。

在视频中，用户在 pycharm 内部创建了一个虚拟环境，但是，您可以在 pycharm 之外创建虚拟环境或激活预先存在的虚拟环境，然后使用它启动 pycharm 并将这些路径添加到虚拟环境pycharm 中的解释器路径。

我使用其他方法通过 bash 环境变量添加 spark，这在 pycharm 之外效果很好，但由于某种原因，它们在 pycharm 中无法识别，但这种方法效果很好。

【讨论】：

@ml_student 我还要提一下，如果你按照视频方法（我建议它的速度和易用性），你需要在你的开头实例化一个 SparkContext 对象脚本也是如此。我注意到这一点是因为通过命令行使用交互式 pyspark 控制台会自动为您创建上下文，而在 PyCharm 中，您需要自己处理；语法为：sc = SparkContext()【参考方案9】：

您需要在启动 IDE 或 Python 之前设置 PYTHONPATH、SPARK_HOME。

Windows，编辑环境变量，将 spark python 和 py4j 添加到 

PYTHONPATH=%PYTHONPATH%;py4j;spark python

Unix, 

export PYTHONPATH=$PYTHONPATH;py4j;spark/python

【讨论】：

【参考方案10】：

我用pycharm链接python和spark。我的电脑中预装了 Java 和 Spark。

这些是我遵循的步骤

    创建新项目

    在新项目的设置中--> 我选择 Python3.7(venv) 作为我的 python。这是我的新项目中 venv 文件夹中的 python.exe 文件。你可以在你的电脑中提供任何可用的python。

    在设置 --> 项目结构 --> 添加 Content_Root

    我添加了两个 zip 文件夹作为 spark 的目录

      C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7\python\lib\py4j-0.10.8.1-src.zip C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7\python\lib\pyspark.zip

    在新项目中创建一个 python 文件。然后去编辑配置（在上面 右侧下拉菜单）并选择环境变量

    我使用了以下环境变量，对我来说效果很好

      PYTHONUNBUFFERED 1 JAVA_HOME C:\Program Files\Java\jre1.8.0_251 PYSPARK_PYTHON C:\Users\USER\PycharmProjects\pyspark\venv\Scripts\python.exe SPARK_HOME C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7 HADOOP_HOME C:\Users\USER\winutils

    您可能需要额外下载 winutils.exe 并将其放在路径中 C:\Users\USER\winutils\bin

    在 Edit Configurations--> Templates 中提供相同的环境变量

    进入设置-->项目解释器-->导入pyspark

    运行你的第一个 pyspark 程序！

【讨论】：

【参考方案11】：

来自documentation：

要在 Python 中运行 Spark 应用程序，请使用 bin/spark-submit 脚本 位于 Spark 目录中。该脚本将加载 Spark 的 Java/Scala 库，并允许您将应用程序提交到 簇。您还可以使用 bin/pyspark 启动交互式 Python 贝壳。

您正在使用 CPython 解释器直接调用您的脚本，我认为这会导致问题。

尝试使用以下命令运行您的脚本：

"$SPARK_HOME"/bin/spark-submit test_1.py

如果可行，您应该能够通过将项目的解释器设置为 spark-submit 来使其在 PyCharm 中运行。

【讨论】：

你应该可以通过将项目的解释器设置为 spark-submit 来让它在 PyCharm 中工作 -- 试过了。 “所选文件不是 Python SDK 的有效主页”。 bin/pyspark 也一样【参考方案12】：

我按照在线教程将环境变量添加到.bashrc：

# add pyspark to python
export SPARK_HOME=/home/lolo/spark-1.6.1
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

然后我将 SPARK_HOME 和 PYTHONPATH 中的值获取到 pycharm：

(srz-reco)lolo@K:~$ echo $SPARK_HOME 
/home/lolo/spark-1.6.1
(srz-reco)lolo@K:~$ echo $PYTHONPATH
/home/lolo/spark-1.6.1/python/lib/py4j-0.9-src.zip:/home/lolo/spark-1.6.1/python/:/home/lolo/spark-1.6.1/python/lib/py4j-0.9-src.zip:/home/lolo/spark-1.6.1/python/:/python/lib/py4j-0.8.2.1-src.zip:/python/:

然后我将它复制到运行/调试配置 -> 脚本的环境变量。

【讨论】：

【参考方案13】：

来自pyspark_xray 的本教程是一个可以在 PyCharm 上调试 pyspark 代码的工具，可以回答您的问题。它涵盖了 Windows 和 Mac。

准备

打开命令行，启动java 命令，如果出现错误，则下载并安装java（截至 2020 年 4 月的版本为 1.8.0_221） 如果您没有，请下载并安装 PyCharm 社区版（截至 2020 年 4 月的版本 2020.1） 如果没有，请下载并安装 Anaconda Python 3.7 运行时 在本地下载并安装 spark 最新的 Pre-built for Apache Hadoop（spark-2.4.5-bin-hadoop2.7，截至 2020 年 4 月，200+MB 大小） 窗口： 如果您没有解压缩工具，请下载并安装 7zip，这是一个免费的文件压缩/解压缩工具 将 spark tgz 文件的内容提取到 c:\spark-x.x.x-bin-hadoopx.x 文件夹 按照this tutorial中的步骤进行操作 安装winutils.exe到c:\spark-x.x.x-bin-hadoopx.x\bin文件夹，没有这个可执行文件，写引擎输出会出错 苹果机： 将 spark tgz 文件的内容提取到 \Users[USERNAME]\spark-x.x.x-bin-hadoopx.x 文件夹 通过pip install pyspark 或conda install pyspark 安装pyspark

运行配置

您通过发出spark-submit 命令在集群上运行 Spark 应用程序，该命令将 Spark 作业提交到集群。但是从本地笔记本电脑或 PC 上的 PyCharm 或其他 IDE 中，spark-submit 不能用于启动 Spark 作业。相反，请按照以下步骤在 PyCharm 上设置 pyspark_xray 的 demo_app 的运行配置

设置环境变量： 将HADOOP_HOME 值设置为C:\spark-2.4.5-bin-hadoop2.7 将SPARK_HOME 值设置为C:\spark-2.4.5-bin-hadoop2.7 使用 Github Desktop 或其他 git 工具从 Github 克隆 pyspark_xray PyCharm > 将 pyspark_xray 作为项目打开 打开 PyCharm > 运行 > 编辑配置 > 默认值 > Python 并输入以下值： 环境变量 (Windows)：PYTHONUNBUFFERED=1;PYSPARK_PYTHON=python;PYTHONPATH=$SPARK_HOME/python;PYSPARK_SUBMIT_ARGS=pyspark-shell; 打开PyCharm > Run > Edit Configurations，新建Python配置，将脚本指向pyspark_xray > demo_app的driver.py的路径

driver-run-config

【讨论】：

【参考方案14】：

转到项目结构：

选项1：文件->设置->项目：->项目结构

选项 2：PyCharm -> 首选项 -> 项目：-> 项目结构

添加内容根目录：来自 $SPARK_HOME/python/lib 的所有 ZIP 文件

【讨论】：

【参考方案15】：

MacOS 上最新的 Spark 和 Python 版本如下：

SPARK_VERSION=3.1.1
PY4J=0.10.9
PYTHON=3.8.12

为SPARK_HOME、PYTHONPATH 以及PYENV_ROOT 添加以下环境变量到~/.bash_profile。此外，SPARK_HOME 和 PYENV_ROOT 被添加到 PATH。

export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1`
export SPARK_HOME=/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH

export PYENV_ROOT=/usr/local/opt/pyenv
export PATH=$PYENV_ROOT/bin:$PATH

if command -v pyenv 1>/dev/null 2>&1; then
    eval "$(pyenv init -)"
fi

在Project -&gt; Preferences -&gt; Python Interpreter 下，将 PyEnv Python 添加为新的解释器并使用它代替默认解释器。

在添加 Python 解释器下，转到 Virtual Environment -&gt; Under Existing Environment -> 选择 /usr/local/opt/pyenv/versions/3.8.12/bin/python 作为 PySpark 项目的 Python 解释器。

在 Python 代码中，在开头添加以下代码块（注意：pyspark、findspark 和 py4j 需要预先安装为包）

import findspark
from pyspark import SparkContext
findspark.init("/usr/local/Cellar/apache-spark/3.1.1/libexec")

【讨论】：

【参考方案16】：

最简单的方法是

转到您安装的 anaconda/python 的 site-packages 文件夹，将 pyspark 和 pyspark.egg-info 文件夹复制粘贴到那里。

重启 pycharm 以更新索引。 上述两个文件夹位于 spark 安装的 spark/python 文件夹中。这样您也可以从 pycharm 获得代码完成建议。

可以在您的 python 安装中轻松找到站点包。在 anaconda 中，它位于 anaconda/lib/pythonx.x/site-packages

下

【讨论】：

这样 pycharm 会认为它是另一个库。【参考方案17】：

我尝试通过 Project Interpreter 菜单添加 pyspark 模块，但还不够……需要设置许多系统环境变量，例如 SPARK_HOME 和 /hadoop/bin/winutils.exe 的路径才能读取本地数据文件。您还需要使用系统环境变量和PATH 中可用的正确版本的Python、JRE、JDK。在谷歌上搜索了很多之后，instructions in these videos 工作了

【讨论】：

以上是关于如何将 PyCharm 与 PySpark 链接？的主要内容，如果未能解决你的问题，请参考以下文章

链接到 pyspark 时 Pycharm 出错：未定义名称“spark”

如何在 PySpark 中将 sql 函数与 UDAF 组合/链接

pycharm 怎么 pyspark

博学谷学习记录超强总结，用心分享|狂野大数据课程基于Pycharm完成PySpark入门案例（上）的总结分析

机器学习 - 开发环境安装pycharm + pyspark + spark集成篇

在pycharm上配置pyspark