apache zeppelin 上的 zeppelin_ipyspark.py 获取 SyntaxError：无效语法

Posted 2023-03-23

【中文标题】apache zeppelin 上的 zeppelin_ipyspark.py 获取 SyntaxError：无效语法

【英文标题】：zeppelin_ipyspark.py at apache zeppelin get SyntaxError: invalid syntax

【发布时间】：2019-10-12 10:06:24

【问题描述】：

当我在 apache zeppelin 0.8.1 中使用 pyspark 运行代码时，出现类似

的错误

java.lang.NullPointerException
    at org.apache.thrift.transport.TSocket.open(TSocket.java:170)
    at org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51)

...

所以我打开了我文件夹中的所有文件 zeppelin

我尝试使用 cmd 在D:\zeppelin-0.8.1-bin-all\interpreter\spark\python 运行文件zeppelin_ipyspark.py

我得到错误

D:\zeppelin-0.8.1-bin-all\interpreter\spark\python>zeppelin_ipyspark.py
  File "D:\zeppelin-0.8.1-bin-all\interpreter\spark\python\zeppelin_ipyspark.py", line 29
    port=$JVM_GATEWAY_PORT, auth_token=gateway_secret, auto_convert=True))
         ^
SyntaxError: invalid syntax

那么你能帮帮我吗？

【问题讨论】：

检查第 29 行是否所有圆括号都正确关闭

【参考方案1】：

@LSS zeppelin_ipyspark.py 不是独立脚本。 它作为 Ipython 解释器的一部分从 Zeppelin 的 java 代码内部调用，其中处理 python 脚本以用实际值替换这些字符串（如 JVM_GATEWAY_PORT 等）。 可以查看代码参考：1,2