pyspark 3.2.0 中使用的是啥 log4j 版本?
Posted
技术标签:
【中文标题】pyspark 3.2.0 中使用的是啥 log4j 版本?【英文标题】:What log4j version is used in pyspark 3.2.0?pyspark 3.2.0 中使用的是什么 log4j 版本? 【发布时间】:2021-12-14 13:59:29 【问题描述】:pyspark 3.2.0 使用的是什么版本的 log4j?
我们需要识别此版本以缓解CVE-2021-44228 漏洞。
【问题讨论】:
我发现了一篇关于这个的好帖子:Structured logging of PySpark applications with Log4j 2。 2021 年 12 月 13 日更新:本帖已更新为使用修补漏洞的 2.15.0 版本。 【参考方案1】:Apache Spark 3.2.0 发行版使用 log4j 1.2.17 OOTB(请参阅https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12/3.2.0 中的“编译依赖项”部分)。 它没有暴露于“CVE-2021-44228”漏洞(目前已知),但由于最古老的弱点(例如https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2019-17571),也不能被视为“完全安全”。
【讨论】:
以上是关于pyspark 3.2.0 中使用的是啥 log4j 版本?的主要内容,如果未能解决你的问题,请参考以下文章
避免在 pyspark 代码中使用 collect() 函数的最佳方法是啥?编写优化pyspark代码的最佳方法?
idea中log4j 的日志级别是info但是output会打印debug的日志,是啥原因
log4j.properties 文件中 log4j.rootLogger 属性的意义是啥?如果我不使用此属性会怎样?
在pyspark中使用基于DataFrame的API在2个sparseVectors列表之间进行矩阵乘法的最佳方法是啥?