pyspark 3.2.0 中使用的是啥 log4j 版本?

Posted

技术标签:

【中文标题】pyspark 3.2.0 中使用的是啥 log4j 版本?【英文标题】:What log4j version is used in pyspark 3.2.0?pyspark 3.2.0 中使用的是什么 log4j 版本? 【发布时间】:2021-12-14 13:59:29 【问题描述】:

pyspark 3.2.0 使用的是什么版本的 log4j?

我们需要识别此版本以缓解CVE-2021-44228 漏洞。

【问题讨论】:

我发现了一篇关于这个的好帖子:Structured logging of PySpark applications with Log4j 2。 2021 年 12 月 13 日更新:本帖已更新为使用修补漏洞的 2.15.0 版本。 【参考方案1】:

Apache Spark 3.2.0 发行版使用 log4j 1.2.17 OOTB(请参阅https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12/3.2.0 中的“编译依赖项”部分)。 它没有暴露于“CVE-2021-44228”漏洞(目前已知),但由于最古老的弱点(例如https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2019-17571),也不能被视为“完全安全”。

【讨论】:

以上是关于pyspark 3.2.0 中使用的是啥 log4j 版本?的主要内容,如果未能解决你的问题,请参考以下文章

避免在 pyspark 代码中使用 collect() 函数的最佳方法是啥?编写优化pyspark代码的最佳方法?

idea中log4j 的日志级别是info但是output会打印debug的日志,是啥原因

log4j.properties 文件中 log4j.rootLogger 属性的意义是啥?如果我不使用此属性会怎样?

Pyspark 中朴素贝叶斯分类器的阈值是啥?

在pyspark中使用基于DataFrame的API在2个sparseVectors列表之间进行矩阵乘法的最佳方法是啥?

在 pyspark 中转换或处理日期数据类型的最佳方法是啥