在 spark 数据框中的嵌套 json 中将部分父 Schema 列添加到子项

Posted 2023-04-17

技术标签:

【中文标题】在 spark 数据框中的嵌套 json 中将部分父 Schema 列添加到子项【英文标题】：Adding part of the parent Schema column to child in nested json in spark data frame 【发布时间】：2018-02-07 18:05:16 【问题描述】：

我有下面的 xml，我正在尝试加载到 spark 数据框。

   <?xml version="1.0"?>
<env:ContentEnvelope xsi:schemaLocation="http">
    <env:Header>
        <env:Info>
            <env:Id>urn:uuid:6d2af93bfbfc49da9805aebb6a38996d</env:Id>
            <env:TimeStamp>20171122T07:56:09+00:00</env:TimeStamp>
        </env:Info>
        <fun:OrgId>18227</fun:OrgId>
        <fun:DataPartitionId>1</fun:DataPartitionId>
    </env:Header>
    <env:Body minVers="0.0" majVers="1" contentSet="Fundamental">
        <env:ContentItem action="Overwrite">
            <env:Data xsi:type="sr:FinancialSourceDataItem">
                <sr:Source sourceId="344" organizationId="4295906830">
                    <sr:FilingDateTime>20171111T17:00:00+00:00</sr:FilingDateTime>
                    <sr:SourceTypeCode>10K</sr:SourceTypeCode>
                    <sr:StatementDate>20171030T00:00:00+00:00</sr:StatementDate>
                    <sr:IsFilingDateTimeEstimated>false</sr:IsFilingDateTimeEstimated>
                    <sr:ContainsPreliminaryData>false</sr:ContainsPreliminaryData>
                    <sr:CapitalChangeAdjustmentDate>20171030T00:00:00+00:00</sr:CapitalChangeAdjustmentDate>
                    <sr:CumulativeAdjustmentFactor>1.00000</sr:CumulativeAdjustmentFactor>
                    <sr:ContainsRestatement>false</sr:ContainsRestatement>
                    <sr:FilingDateTimeUTCOffset>300</sr:FilingDateTimeUTCOffset>
                    <sr:ThirdPartySourceCode>SS</sr:ThirdPartySourceCode>
                    <sr:ThirdPartySourcePriority>1</sr:ThirdPartySourcePriority>
                    <sr:Auditors>
                        <sr:Auditor auditorId="3541">
                            <sr:AuditorOpinionCode>UNQ</sr:AuditorOpinionCode>
                            <sr:IsPlayingAuditorRole>true</sr:IsPlayingAuditorRole>
                            <sr:IsPlayingTaxAdvisorRole>false</sr:IsPlayingTaxAdvisorRole>
                            <sr:AuditorEnumerationId>3024068</sr:AuditorEnumerationId>
                            <sr:AuditorOpinionId>3010546</sr:AuditorOpinionId>
                            <sr:IsPlayingCSRAuditorRole>false</sr:IsPlayingCSRAuditorRole>
                        </sr:Auditor>
                        <sr:Auditor auditorId="9574">
                            <sr:AuditorOpinionCode>UWE</sr:AuditorOpinionCode>
                            <sr:IsPlayingAuditorRole>true</sr:IsPlayingAuditorRole>
                            <sr:IsPlayingTaxAdvisorRole>false</sr:IsPlayingTaxAdvisorRole>
                            <sr:AuditorEnumerationId>3030421</sr:AuditorEnumerationId>
                            <sr:AuditorOpinionId>3010547</sr:AuditorOpinionId>
                            <sr:IsPlayingCSRAuditorRole>false</sr:IsPlayingCSRAuditorRole>
                        </sr:Auditor>
                    </sr:Auditors>
                    <sr:SourceTypeId>3011835</sr:SourceTypeId>
                    <sr:ThirdPartySourceCodeId>1000716240</sr:ThirdPartySourceCodeId>
                </sr:Source>
            </env:Data>
        </env:ContentItem>
    </env:Body>
</env:ContentEnvelope>

主标签是<env:ContentEnvelope> 然后有两个部分，一个是标题（<env:Header>），另一个是正文（<env:Body）

<fun:OrgId> 和 <fun:DataPartitionId> 等正文中的详细信息对于 <env:Body 中的所有行都是相同的。

由此我想创建两个数据框。

<sr:Source 一个，<sr:Auditor 第二个

对于两个数据框action="Overwrite" 将与一个公共列相同。

还因为<sr:Auditor 是<sr:Source 的子级，所以sourceId="344" organizationId="4295906830" 这样的列很少会在<sr:Auditor 数据框中重复。

这就是我迄今为止为实现这一目标所做的工作

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val dfContentEnvelope = sqlContext.read.format("com.databricks.spark.xml").option("rowTag", "env:ContentEnvelope").load("s3://trfsmallfffile/XML")

    val dfHeader = dfContentEnvelope.withColumn("Header", (dfContentEnvelope("env:Header"))).select("Header.*")
    val dfDataPartitionId =dfHeader.select("fun:DataPartitionId")
    //dfDataPartitionId.show()

   //val dfBody = sqlContext.read.format("com.databricks.spark.xml").option("rowTag", "env:Body").load("s3://trfsmallfffile/XML")
    val dfContentItem = dfContentEnvelope.withColumn("column1", explode(dfContentEnvelope("env:Body.env:ContentItem"))).select("column1.*")
    val dfType=dfContentItem.select("env:Data.*")
    //dfType.show()

      val srSource = dfType.withColumn("srSource", (dfType("sr:Source"))).select("srSource.*").drop("sr:Auditors").filter($"srSource".isNotNull)
     val srSourceAuditor = dfType.withColumn("srSource", explode(dfType("sr:Source.sr:Auditors.sr:Auditor"))).select("srSource.*")

所以我的问题是如何获取 <sr:Source 的父数据框和 <sr:Auditor 的子数据框，以及从父数据框到子数据框的 organizationId 和 sourceId？

【问题讨论】：

【参考方案1】：

如果您希望获得两个数据帧：一个用于Source，一个用于Auditors 和organizationId 和sourceId 的Source 数据帧，那么您可以使用以下逻辑。

观察给定的数据和您的尝试，我可以建议env:Body.env:ContentItem 列上的explode 函数将为您提供父数据框

import sqlContext.implicits._
import org.apache.spark.sql.functions._
val dfContentEnvelope = sqlContext.read.format("com.databricks.spark.xml")
  .option("rowTag", "env:ContentEnvelope")
  .load("s3://trfsmallfffile/XML")

val dfContentItem = dfContentEnvelope.withColumn("column1", explode(dfContentEnvelope("env:Body.env:ContentItem"))).select("column1.*")
val ParentDF=dfContentItem.select($"env:Data.sr:Source._organizationId".as("organizationId"), $"env:Data.sr:Source._sourceId".as("sourceId"), $"env:Data.sr:Source".as("Source"))

这会给你

+--------------+--------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|organizationId|sourceId|Source                                                                                                                                                                                                                                                 |
+--------------+--------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|4295906830    |344     |[4295906830,344,[WrappedArray([3541,3024068,UNQ,3010546,true,false,false], [9574,3030421,UWE,3010547,true,false,false])],20171030T00:00:00+00:00,false,false,1.0,20171111T17:00:00+00:00,300,false,10K,3011835,20171030T00:00:00+00:00,SS,1000716240,1]|
+--------------+--------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

对于子数据框，您需要将上述父数据框中的sr:Auditor分解为

val childDF=ParentDF.select($"organizationId", $"sourceId", explode($"Source.sr:Auditors.sr:Auditor").as("Auditors"))

这应该给你

+--------------+--------+-------------------------------------------+
|organizationId|sourceId|Auditors                                   |
+--------------+--------+-------------------------------------------+
|4295906830    |344     |[3541,3024068,UNQ,3010546,true,false,false]|
|4295906830    |344     |[9574,3030421,UWE,3010547,true,false,false]|
+--------------+--------+-------------------------------------------+

希望回答对你有帮助

【讨论】：

以上是关于在 spark 数据框中的嵌套 json 中将部分父 Schema 列添加到子项的主要内容，如果未能解决你的问题，请参考以下文章

在scala中将spark决策树模型调试字符串转换为嵌套JSON

使用 json 模式更新 spark 数据框中的列

Pandas - 在数据框中的列内扩展嵌套的 json 数组

如何在 Scala/Spark 中为数据框中的每一行编写一个 Json 文件并重命名文件

在 Pandas 数据框中提取嵌入为字符串的嵌套 JSON

在 Spark 数据框中爆炸嵌套结构