从PyCharm连接到运行Spark-Session

Posted 2021-04-01

我目前正在尝试设置我的火花环境，并想知道什么是最佳实践。我想在Pycharm中编写我的代码并从那里执行它。如何从那里连接已经运行Spark-Session的本地（在我的Mac上）？到目前为止，我的想法是在终端中启动一个pyspark-shell，如果我在Pycharm中运行我的代码，它应该连接到运行Spark-Session的那个。

怎么做？

提前致谢！

答案

您可以尝试在python中创建一个spark shell，使用：

import os, sys
os.environ['SPARK_HOME']="/home/spark-2.4.0-bin-hadoop2.7" #path to spark
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python') )
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python/lib/py4j-0.10.7-src.zip'))

import pyspark
spark = pyspark.sql.SparkSession.builder.appName("pysaprk_python").getOrCreate()

print (spark.version, spark.sparkContext.master)