PySpark 中的 countApproxDistinctByKey
Posted
技术标签:
【中文标题】PySpark 中的 countApproxDistinctByKey【英文标题】：countApproxDistinctByKey in PySpark 【发布时间】：2015-09-11 23:15:48 【问题描述】：我正在尝试在 pyspark（1.4 和 1.5）中使用 countApproxDistinctByKey，但找不到它。
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/PairRDDFunctions.scala#L417
我是否遗漏了什么或尚未移植/包装？
谢谢
【问题讨论】：
【参考方案1】：不，尚未移植。从 1.5 开始，您只能使用 countApproxDistinct。
Source code for python RDD
【讨论】：
以上是关于PySpark 中的 countApproxDistinctByKey的主要内容，如果未能解决你的问题，请参考以下文章
如何将 pyspark 数据框列中的值与 pyspark 中的另一个数据框进行比较
ValueError：尝试在 pyspark 中的非包中进行相对导入/无法找到 kmodes 模块（pyspark）
pyspark 内连接的替代方法来比较 pyspark 中的两个数据帧