如何将一列除以pyspark中的其他几个子列？

Posted 2023-02-16

【中文标题】如何将一列除以pyspark中的其他几个子列？

【英文标题】：How to divide a column by few other sub columns in pyspark?

【发布时间】：2021-08-12 18:35:01

【问题描述】：

我需要将以下python代码转换成pyspark。

df['GRN_ratio'] = df['GRN Quantity']/ df.groupby(['File No','Delivery Note Number'])['GRN 
                  Quantity'].transform(sum)

为此，我正在使用以下 Pyspark 代码。但我没有得到预期的输出。

df.groupby(['File No','Delivery Note Number']).agg(F.sum('GRN Quantity').alias('GRN_Sum')))
           .withColumn("GRN_ratio", F.col("GRN Quantity")/F.col("GRN_Sum"))

【参考方案1】：

您可以使用窗口功能代替分组：

from pyspark.sql import functions as F, Window

df2 = df.withColumn('GRN_ratio',
    F.col('GRN Quantity') / 
    F.sum('GRN Quantity').over(Window.partitionBy('File No','Delivery Note Number'))
)