where子句值的pyspark数据帧计数等于

Posted

技术标签:

【中文标题】where子句值的pyspark数据帧计数等于【英文标题】:pyspark dataframe count of where clause value is equals to 【发布时间】:2021-01-14 16:20:53 【问题描述】:

以下是示例数据帧

我有一个带有“id”的列,考虑到 where 子句中 vaule 等于“数字”,我需要带有计数的新数据帧,带有 vaule 和计数的新数据帧

源 df 和所需的 newdf 以及 df 的计数

任何建议:

【问题讨论】:

【参考方案1】:

只需分组和计数:

newdf = df.groupBy('Id').count()

【讨论】:

以上是关于where子句值的pyspark数据帧计数等于的主要内容,如果未能解决你的问题,请参考以下文章

如何使用带有 PySpark 的 WHERE 子句在 AWS Glue 中查询 JDBC 数据库?

Pyspark 将 rdd 转换为具有空值的数据帧

使用 where 子句时,如果数据为空,则将数据计数为零

为啥在使用 pyspark 加入 Spark 数据帧时出现这些 Py4JJavaError showString 错误?

三.SQL WHERE 子句(where)

5.WHERE 子句