Jupyter Notebook 中的 PySpark 配置
Posted
技术标签:
【中文标题】Jupyter Notebook 中的 PySpark 配置【英文标题】：PySpark Configurations wtihin Jupyter Notebook 【发布时间】：2019-07-16 18:09:40 【问题描述】：我目前正在尝试使用 python 内核和 pyspark 在 Jupyter Notebooks 中配置 Spark 上下文，但我所做的任何更改都没有实现。
例如，我更改了每个执行程序的核心数，并看到更改在 Spark UI 环境选项卡中生效，但在执行程序选项卡中没有生效
（我还没有 10 声望，所以我无法嵌入实际图像）
(https://imgur.com/a/ugTqXsi) (https://imgur.com/a/Goj5ang)
import findspark
findspark.init()
import pyspark
from pyspark import SparkContext
from pyspark.sql import SparkSession
sc = SparkContext("local", 'CompanyData')
spark = SparkSession.builder.appName('CompanyData')
.config( "spark.sql.broadcastTimeout","36000")
.config("spark.memory.fraction",".8")
.config('spark.rpc.io.serverThreads','64')
.config('spark.executor.memory','4g')
.config('spark.dynamicAllocation.enabled', 'true')
.config('spark.executor.cores','4')
.config('spark.dynamicAllocation.minExecutors',"1")
.config("spark.dynamicAllocation.maxExecutors", "5").getOrCreate()
我正在使用一个 jupyter notebook 来完成所有这些工作，但我不太确定错位发生在进度的哪个区域
【问题讨论】：
【参考方案1】：尝试修改代码为
sc = SparkContext("local[*]", 'CompanyData')
【讨论】：
以上是关于Jupyter Notebook 中的 PySpark 配置的主要内容，如果未能解决你的问题，请参考以下文章
Jupyter Notebook 中的 Handsontable
PySpark 和 Jupyter-notebook 中的 Collect() 错误
python 显示Jupyter Notebook中的所有列。