pyspark 等效于 Scala API 中的标志“isLocal”
Posted
技术标签:
【中文标题】pyspark 等效于 Scala API 中的标志“isLocal”【英文标题】：pyspark equivalent of the flag "isLocal" from Scala API 【发布时间】：2021-03-09 05:43:13 【问题描述】：Scala 有一个标志isLocal。如果这是true，那么我们知道Spark 在本地模式下运行，否则它在集群上运行。有没有 pyspark 替代品？或者我们只是检查sc.master？
【问题讨论】：
【参考方案1】：它在 Python API 中不可用，但您可以在 Java SparkContext 上调用 isLocal：
sc._jsc.isLocal()
【讨论】：
以上是关于pyspark 等效于 Scala API 中的标志“isLocal”的主要内容，如果未能解决你的问题，请参考以下文章
等效于 Java 8 中的 Scala 的 foldLeft
Pyspark 中是不是有等效于 SQL 的 MSCK REPAIR TABLE 的方法
PySpark 是不是调用 java api，然后 java api 在 Apache Spark 中调用 scala api？
PySpark 是不是调用 java api，然后 java api 在 Apache Spark 中调用 scala api？