将列字典从不同的数据帧转换为数据帧：pyspark

Posted 2023-04-17

【中文标题】将列字典从不同的数据帧转换为数据帧：pyspark

【英文标题】：Convert dictionary of columns to Dataframe in from different dataframes : pyspark

【发布时间】：2020-05-13 17:49:18

【问题描述】：

我正在尝试将来自不同数据框的列合并为一个以进行分析。我正在将我需要的所有列收集到字典中。

我现在有一本这样的字典 -

newDFDict = 
    'schoolName': school.INSTNM,
    'type': school.CONTROL,
    'avgCostAcademicYear': costs.COSTT4_A, 
    'avgCostProgramYear': costs.COSTT4_P, 
    'averageNetPricePublic': costs.NPT4_PUB, 



 'schoolName': Column<b'INSTNM'>,
 'type': Column<b'CONTROL'>,
 'avgCostAcademicYear': Column<b'COSTT4_A'>,
 'avgCostProgramYear': Column<b'COSTT4_P'>,
 'averageNetPricePublic': Column<b'NPT4_PUB'>

我想将此字典转换为 Pyspark 数据框。

我已经尝试过这种方法，但输出不是我所期望的 -

newDFDict = 
    'schoolName': school.select("INSTNM").collect(),
    'type': school.select("CONTROL").collect(),
    'avgCostAcademicYear': costs.select("COSTT4_A").collect(), 
    'avgCostProgramYear': costs.select("COSTT4_P").collect(), 
    'averageNetPricePublic': costs.select("NPT4_PUB").collect(), 


newDF = sc.parallelize([newDFDict]).toDF()
newDF.show()
+---------------------+--------------------+--------------------+--------------------+--------------------+
|averageNetPricePublic| avgCostAcademicYear|  avgCostProgramYear|          schoolName|                type|
+---------------------+--------------------+--------------------+--------------------+--------------------+
| [[NULL], [NULL], ...|[[NULL], [NULL], ...|[[NULL], [NULL], ...|[[Community Colle...|[[1], [1], [1], [...|
+---------------------+--------------------+--------------------+--------------------+--------------------+

有可能吗？ 如果可能，怎么做？

这是正确的方法吗？如果没有，我该如何实现？

使用 pandas 不是一个选项，因为数据非常大（2-3 GB）而且 pandas 太慢了。我在本地机器上运行 pyspark。

提前致谢！ :)

【问题讨论】：

您可能已经使用公共键加入了 2 个数据框，然后 .... 您可以选择所谓的字典所需的列，对吗？两个数据框都没有共同的列吗？如果数据更多，collect 是 OOM 的杀手锏。

@RamGhadiyaram 有 10 个表，总共超过 1900 列。我在想，与其加入 10 个表并选择 40-50 列，不如通过字典来完成。

join 或 union with all common columns 有什么问题视图/数据框？大不收集...您将所有数据拉入驱动程序因此OOM

我不明白你想说什么。另外我应该提到唯一的共同键是行号。

看我的例子，如果你没有加入键，你可以按照下面的答案进行联合，这是你常见的 dict 字段的 sql 表示

【参考方案1】：

这是我建议的 2 个选项

Option1（建立字典的联合大小写）：

您说，您有 >=10 个表（您想从中构建字典），这些表具有常见的列（例如 'schoolName'、'type' 'avgCostAcademicYear' 、'avgCostProgramYear' 、'averageNetPricePublic' columns ）然后你可以去 union 或 unionByName 形成单一的合并。数据视图。

例如：

select 'schoolName','type' 'avgCostAcademicYear' ,'avgCostProgramYear' , 'averageNetPricePublic' from df1

 union  

select 'schoolName','type' 'avgCostAcademicYear' ,'avgCostProgramYear' , 'averageNetPricePublic' from df2
 ....
union
select 'schoolName','type' 'avgCostAcademicYear' ,'avgCostProgramYear' , 'averageNetPricePublic' from dfN 

将为您提供字典的统一视图

选项 2：（如果您只有公共连接列）

如果您有一些常见的连接列，那么无论存在多少表，您也可以使用标准连接..

对于伪 sql 示例：

select dictionary columns from table1,table2,table3,... tablen where join common columns in all tables (table1... tablen)

注意错过任何连接列都会导致笛卡尔积

【讨论】：

唯一常见的列是行号。没有公共列

可能不加入你的意思是工会不会工作？你试过了吗？

我不是在从每个表中选择列之后创建字典，而是在使用 monotically_increasing_id() 创建一个包含 reqd 列的新数据框后加入。所以选项2

你的单调递增的id不是增量的，因为sql行号小心看我的回答here

无论如何我都打算放弃它。它不会导致加入问题，对吗？ （我问的是不匹配的连接）