如何为 pyspark jupyter notebook 设置端口？

Posted 2023-04-15

【中文标题】如何为 pyspark jupyter notebook 设置端口？

【英文标题】：How to set port for pyspark jupyter notebook?

【发布时间】：2018-12-13 02:04:36

【问题描述】：

我正在使用脚本启动 pyspark jupyter notebook：

#!/bin/bash
ipaddres=...
echo "Start notebook server at IP address $ipaddress"

function snotebook ()

#Spark path (based on your computer)
SPARK_PATH=/home/.../software/spark-2.3.1-bin-hadoop2.7

export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

# For python 3 users, you have to add the line below or you will get an error
export PYSPARK_PYTHON=python3

$SPARK_PATH/bin/pyspark --master local[10]


snotebook --no-browser --ip $ipaddress --certfile=/home/.../local/mycert.pem --keyfile /home/.../local/mykey.key  

我想知道如何设置端口。有我可以设置的环境变量吗？我想在笔记本启动之前确定端口。我试过--port 7999。

【参考方案1】：

如果您指的是 Spark UI 端口，在 spark-env.sh 中，它会列出您可以覆盖或在该文件中设置的这两个环境变量

# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker

我不确定 Jupyter 的值，或者 PySpark 是否会通过它们，但如果 jupyter notebook --port 自己工作，那么我会尝试

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --port=7999"

如果你想将snotebook的所有参数传递给变量，那么你需要

export PYSPARK_DRIVER_PYTHON_OPTS="notebook $@"