GROUP BY 与 PySpark SQL 中的重叠行
Posted
技术标签:
【中文标题】GROUP BY 与 PySpark SQL 中的重叠行【英文标题】:GROUP BY with overlapping rows in PySpark SQL 【发布时间】:2020-11-21 02:13:36 【问题描述】:下表是使用 Parquet / PySpark 创建的,目标是聚合 1 < count < 5
所在的行和 2 < count < 6
所在的行。请注意count
为 4.1 的行在这两个范围内。
+-----+-----+
|count|value|
+-----+-----+
| 1.1| 1|
| 1.2| 2|
| 4.1| 3|
| 5.5| 4|
| 5.6| 5|
| 5.7| 6|
+-----+-----+
这是创建上表并将其作为 PySpark DataFrame 读取的代码。
import pandas as pd
import pyarrow.parquet as pq
import pyarrow as pa
from pyspark import SparkContext, SQLContext
# create Parquet DataFrame
pdf = pd.DataFrame(
'count': [1.1, 1.2, 4.1, 5.5, 5.6, 5.7],
'value': [1, 2, 3, 4, 5, 6])
table = pa.Table.from_pandas(pdf)
pq.write_to_dataset(table, r'c:/data/data.parquet')
# read Parquet DataFrame and create view
sc = SparkContext()
sql = SQLContext(sc)
df = sql.read.parquet(r'c:/data/data.parquet')
df.createTempView('data')
该操作可以使用两个单独的查询。
q1 = sql.sql("""
SELECT AVG(value) AS va
FROM data
WHERE count > 1
AND count < 5
""")
+---+
| va|
+---+
|2.0|
+---+
同样
q2 = sql.sql("""
SELECT AVG(value) as va
FROM data
WHERE count > 2
AND count < 6
""")
+---+
| va|
+---+
|4.5|
+---+
但是我想在一个有效的查询中做到这一点。
这是一种行不通的方法,因为count
为 4.1 的行仅包含在一个组中。
qc = sql.sql("""
SELECT AVG(value) AS va,
(CASE WHEN count > 1 AND count < 5 THEN 1
WHEN count > 2 AND count < 6 THEN 2
ELSE 0 END) AS id
FROM data
GROUP BY id
""")
上面的查询产生
+---+---+
| va| id|
+---+---+
|2.0| 1|
|5.0| 2|
+---+---+
需要明确的是,想要的结果更像是
+---+---+
| va| id|
+---+---+
|2.0| 1|
|4.5| 2|
+---+---+
【问题讨论】:
【参考方案1】:最简单的方法大概是union all
:
SELECT 1, AVG(value) AS va
FROM data
WHERE count > 1 AND count < 5
UNION ALL
SELECT 2, AVG(value) as va
FROM data
WHERE count > 2 AND count < 6;
你也可以这样表述:
select r.id, avg(d.value)
from data d join
(select 1 as lo, 5 as hi, 1 as id union all
select 2 as lo, 6 as hi, 2 as id
) r
on d.count > r.lo and d.count < r.hi
group by r.id;
【讨论】:
以上是关于GROUP BY 与 PySpark SQL 中的重叠行的主要内容,如果未能解决你的问题,请参考以下文章
SQL Server 2012 中的 group_concat 与 ORDER BY 另一列