如何从Spark中的聚合结构对象中删除“ col1”别名？

Posted 2023-02-14

我正在尝试将json对象聚合到json列表中-动态创建使用各种字段创建的结构对象。每次我使用以下代码段创建汇总时：

  batched = dataset.select(col(asteriskChar), row_number()
                       .over(Window.orderBy(order)).alias(rowNumAlias))
                       .withColumn(batchAlias, functions.ceil(col(rowNumAlias).divide(batchSize)))
                       .groupBy(col(batchAlias))  .agg(functions.collect_list(struct(structCol)).alias(batchedColAlias));

我希望具有如下所示的对象批处理：

[
 
      "id": 1,
      "first": "John",
      "last": "Thomas",
      "score": 88
  ,
  
      "id": 2,
      "first": "Anne",
      "last": "Jacobs",
      "score": 32
  
]

，但我得到以下信息：

[
  
    "col1": 
      "id": 1,
      "first": "John",
      "last": "Thomas",
      "score": 88
    
  ,
  
    "col1": 
      "id": 2,
      "first": "Anne",
      "last": "Jacobs",
      "score": 32
    
  
]

如何摆脱“ col1”字段并使这些jsons成为数组中的单个对象？预先谢谢你。

答案

很可能您在那里不需要struct：

.groupBy(col(batchAlias))
.agg(functions.collect_list(structCol).alias(batchedColAlias));