Pyspark：如何从表中提取统计信息？

Posted 2023-04-17

【中文标题】Pyspark：如何从表中提取统计信息？

【英文标题】：Pyspark: how to extract statistics from a table?

【发布时间】：2020-03-25 11:01:56

【问题描述】：

我有一个如下所示的表格：

+--------------------+-------------------+-----+
|                  ID|               time|count|
+--------------------+-------------------+-----+
|378101ee32a648ef0...|2020-01-01 11:00:00| 2900|
|ff5d5840742d42beb...|2020-01-01 23:00:00| 1615|
|ff5d5840742d42beb...|2020-01-01 22:00:00| 1589|
|a06f198b200364fb0...|2020-01-01 01:00:00| 1571|
|18991cb9b06c4dbde...|2020-01-01 01:00:00| 1514|
|aaf20cfe4ebc98ca8...|2020-01-01 19:00:00| 1462|
|35e96b1170613db44...|2020-01-01 17:00:00| 1324|
|0eb82275984a3eef0...|2020-01-01 16:00:00| 1305|
|0eb82275984a3eef0...|2020-01-01 17:00:00| 1305|

我想编写一个查询，该查询返回一个表，其中包含与每个 ID 的 count 相关的每小时的一些统计信息

例如，我想要一个如下表：

       time              mean     median     min    max    5thPercentile  95thPercentile
2020-01-01 00:00:00       33        27.5      2    2000       3.4            1300        
2020-01-01 10:00:00       33        27.5      2    2000       2.6            1120

【参考方案1】：

您可以使用窗口函数和聚合。我认为这可以满足您的要求：

select time,
       avg(count),
       (max(case when tile = 10 then count end) +
        min(case when tile = 11 then count end)
       ) / 11,
       max(case when tile = 1 then count end) as percentile_05,
       max(case when tile = 19 then count end) as percentile_95
from (select t.*,
             ntile(20) over (partition by count) as tile
      from t
     ) t
group by time;

【参考方案2】：

使用pyspark.sql 创建panda 的DataFrame-like 对象。

然后您可以致电describe() 查看有关您数据的统计信息。

来自文档的示例：

>>> df.describe(['age']).show()
+-------+------------------+
|summary|               age|
+-------+------------------+
|  count|                 2|
|   mean|               3.5|
| stddev|2.1213203435596424|
|    min|                 2|
|    max|                 5|
+-------+------------------+