如何在单个查询中计算不同类型列的流数据帧的统计信息?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在单个查询中计算不同类型列的流数据帧的统计信息?相关的知识,希望对你有一定的参考价值。

我有一个流数据帧有三列时间col1,col2。

+-----------------------+-------------------+--------------------+
|time                   |col1               |col2                |
+-----------------------+-------------------+--------------------+
|2018-01-10 15:27:21.289|0.4988615628926717 |0.1926744113882285  |
|2018-01-10 15:27:22.289|0.5430687338123434 |0.17084552928040175 |
|2018-01-10 15:27:23.289|0.20527770821641478|0.2221980020202523  |
|2018-01-10 15:27:24.289|0.130852802747647  |0.5213147910202641  |
+-----------------------+-------------------+--------------------+

col1和col2的数据类型是可变的。它可以是字符串或数字数据类型。所以我必须计算每列的统计数据。对于字符串列,仅计算有效计数和无效计数。对于timestamp列,仅计算最小值和最大值。对于数字类型列,计算最小值,最大值,平均值和平均值。我必须在一个查询中计算所有统计信息。现在,我已经为每种类型的列分别计算了三个查询。

答案

枚举您想要的案例并选择。例如,如果stream定义为:

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

val schema = StructType(Seq(
  StructField("v", TimestampType),
  StructField("x", IntegerType),
  StructField("y", StringType),
  StructField("z", DecimalType(10, 2))
))

val df = spark.readStream.schema(schema).format("csv").load("/tmp/foo")

结果将是

val stats = df.select(df.dtypes.flatMap {
  case (c, "StringType") => 
    Seq(count(c) as s"valid_${c}", count("*") - count(c) as s"invalid_${c}")
  case (c, t) if Seq("TimestampType", "DateType") contains t => 
    Seq(min(c), max(c))
  case (c, t) if (Seq("FloatType", "DoubleType", "IntegerType") contains t) || t.startsWith("DecimalType") => 
    Seq(min(c), max(c), avg(c), stddev(c))
  case _ => Seq.empty[Column]
}: _*)

// root
//  |-- min(v): timestamp (nullable = true)
//  |-- max(v): timestamp (nullable = true)
//  |-- min(x): integer (nullable = true)
//  |-- max(x): integer (nullable = true)
//  |-- avg(x): double (nullable = true)
//  |-- stddev_samp(x): double (nullable = true)
//  |-- valid_y: long (nullable = false)
//  |-- invalid_y: long (nullable = false)
//  |-- min(z): decimal(10,2) (nullable = true)
//  |-- max(z): decimal(10,2) (nullable = true)
//  |-- avg(z): decimal(14,6) (nullable = true)
//  |-- stddev_samp(z): double (nullable = true)

以上是关于如何在单个查询中计算不同类型列的流数据帧的统计信息?的主要内容,如果未能解决你的问题,请参考以下文章

在 Access 中有多个列的查询中选择单个不同的列

如何获得与R一样的Pandas数据帧的类似摘要?

SQL如何查询出某一列中不同值出现的次数?

如何在单个查询中使用联接和聚合函数更新表中的多行

SQL语句汇总——聚合函数分组子查询及组合查询

Oracle里收集与查看统计信息的方法