spark.debug.maxToStringFields 不起作用

Posted 2023-03-23

【中文标题】spark.debug.maxToStringFields 不起作用

【英文标题】：spark.debug.maxToStringFields doesn't work

【发布时间】：2021-06-23 21:32:44

【问题描述】：

我尝试按照消息WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf. 中的说明设置"spark.debug.maxToStringFields"。请在下面找到代码

val sparkConf= new SparkConf()
//here
sparkConf.set("spark.debug.maxToStringFields", "100000")
sparkConf.set("spark.sql.debug.maxToStringFields", "100000")
val spark = SparkSession.builder.config(sparkConf).getOrCreate() 
//here
spark.conf.set("spark.debug.maxToStringFields", 100000)
spark.conf.set("spark.sql.debug.maxToStringFields", 100000)

val data = spark.read
        .option("header", "true")
        .option("delimiter", "|")
        .format("csv")
        .csv(path_to_csv_file)
        .toDF()
        .repartition(col("country"))

data.rdd.toDebugString

我只得到带有上述警告消息的 toDebugString 的部分输出。如您所见，我已经尝试了这两种选择。为什么不打印完整的 RDD Lineage？

【问题讨论】：

嗨，你能在这里检查一下吗：programcreek.com/scala/org.apache.spark.SparkEnv。我认为您必须将值设置为： val sparkenv = SparkEnv.get sparkenv.conf.set("spark.oap.cache.strategy", "not_support_cache")

【参考方案1】：

你能在这里检查一下吗：

https://www.programcreek.com/scala/org.apache.spark.SparkEnv

我认为你必须像这样设置值

val sparkenv = SparkEnv.get sparkenv.conf.set("spark.oap.cache.strategy", "not_support_cache")