metaclass = ABCmeta语法无效

Posted 2021-05-01

我使用以下代码。我的PYSPARK_PYTHON在spark-env.sh中设置为python2.7。我在代码中将它更改为python3.5。即使在改变路径后我得到以下错误。

import os
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3"
os.environ["PYSPARK_DRIVER_PYTHON"]="/usr/bin/python3"

from abc import ABCMeta
class AbstractHiveClass(metaclass=ABCMeta):

AbstractHiveClass(metaclass=^ABCMeta): Invalid syntax error 

试图在pyspark shell中运行同样的东西。仍然面临同样的问题。

通过在spark-evn.sh中将PYSPARK_PYTHON指向python3.5来运行代码，似乎工作正常。

有没有办法在不更改spark-env.sh中的任何配置的情况下运行上面的代码。

答案

通过将SparkConf对象中的spark.pyspark.python属性设置为python 3.5解决了这个问题。

spark.pyspark.python=/usr/bin/python3.5