where子句值的pyspark数据帧计数等于
Posted
技术标签:
【中文标题】where子句值的pyspark数据帧计数等于【英文标题】:pyspark dataframe count of where clause value is equals to 【发布时间】:2021-01-14 16:20:53 【问题描述】:以下是示例数据帧
我有一个带有“id”的列,考虑到 where 子句中 vaule 等于“数字”,我需要带有计数的新数据帧,带有 vaule 和计数的新数据帧
源 df 和所需的 newdf 以及 df 的计数
任何建议:
【问题讨论】:
【参考方案1】:只需分组和计数:
newdf = df.groupBy('Id').count()
【讨论】:
以上是关于where子句值的pyspark数据帧计数等于的主要内容,如果未能解决你的问题,请参考以下文章
如何使用带有 PySpark 的 WHERE 子句在 AWS Glue 中查询 JDBC 数据库?
为啥在使用 pyspark 加入 Spark 数据帧时出现这些 Py4JJavaError showString 错误?