使用SQLXMLBulkLoad lib的XML到DB

Posted 2021-04-23

我有一个非常复杂的XML，我需要使用C＃应用程序加载到MS SQL Server数据库。我使用.NET标准SQLXMLBulkLoad库来执行此操作。 XML如下所示。

<HouseInfo>
    <HouseNumber>1</HouseNumber>
    <HouseLog>
        <RoomInfo>
            <RoomNumber>1</RoomNumber>
            <Timestamp>2017-12-29T12:16:51</Timestamp>
            <Furnitures>
                <Table>
                    <Color>Blue</Color>
                    <Height>23</Height>
                </Table>
            </Furnitures>
            <ToolCounts>
                <Scope>1</Scope>
            </ToolCounts>
        </RoomInfo>

        <RoomInfo>
            <RoomNumber>2</RoomNumber>
            <Timestamp>2017-12-29T15:43:23</Timestamp>
            <Furnitures>
                <Table>
                    <Color>Black</Color>
                    <Height>35.2</Height>
                </Table>
            </Furnitures>
            <ToolCounts>
                <Scope>1</Scope>
            </ToolCounts>
            <Bathroom>
                <Code>1234</Code>
                <Faucets>3></Faucets>
            </Bathroom>
        </RoomInfo>

        <RoomInfo>
            <RoomNumber>2</RoomNumber>
            <Timestamp>2017-12-29T15:45:48</Timestamp>
            <Furnitures>
                <Table>
                    <Color>Red</Color>
                    <Height>98.56</Height>
                </Table>
            </Furnitures>
            <ToolCounts>
                <Scope>1</Scope>
            </ToolCounts>
            <Bathroom>
                <Code>1234</Code>
                <Faucets>2></Faucets>
            </Bathroom>
        </RoomInfo>
    </HouseLog>
</HouseInfo>

我创建了一个XSD（模式）文件，并将XML和XSD传递给了lib的Execute函数。

在DB中创建一个表以添加所有数据标记，如下所示。

CREATE TABLE HOUSEINFO (House Number INT,
            RoomNumber INT,
            TimeStamp DateTime,
            Color VARCHAR(25),
            Height VARCHAR(25),
            Scope INT,
            Code INT,
            Faucet INT);

这里的目标是让每一行都包含House Number，Room Number和TimeStamp作为前三列。列的其余部分将包含RoomInfo中其余标记的数据。

我自己尝试过，但找不到确保前三列是上述列的方法。我认为这是SQLXMLBulkLoad库的限制。也就是说，一旦XML和XSD被传递到这个lib中，由它自行决定如何将数据加载到DB而我们无法控制。这句话是否正确？

还有另一种方法可以实现这一目标吗？即，将每个RoomInfo标记内的所有数据放在一行中，前三列是HouseNumber，RoomNumber和TimeStamp？

这些是前三列的原因是因为这样可以很容易地编写查询来提取数据。如您所见，HouseNumber对整个XML都是独一无二的。 RoomNumber和Timestamp对每个RoomInfo都是唯一的。 XML中可以有N个RoomInfo标签。

对于XSD和DB编程来说，这是一个非常新的，并且在这里真的很难。我感谢您的帮助！

答案

我不知道SQLXMLBulkLoad如何根据您的要求为您完成工作。这是另一种选择。您可以使用Cinchoo ETL和SqlBulkCopy将xml导入数据库。这是工作样本

static void BulkLoad1()
{
    string connectionstring = /* your db connection string */

    int houseNo = 0;
    using (var xr = new ChoXmlReader("your.xml").WithXPath("/HouseInfo")
        .WithField("HouseNumber", fieldType: typeof(int))
        )
    {
        houseNo = xr.First().HouseNumber;
    }

    using (var xr = new ChoXmlReader("your.xml").WithXPath("/HouseInfo/HouseLog/RoomInfo")
        .WithField("HouseNumber", fieldType: typeof(int), valueConverter: (o) => houseNo)
        .WithField("RoomNumber", fieldType: typeof(int))
        .WithField("Timestamp", fieldType: typeof(DateTime))
        .WithField("Color", xPath: "Furnitures/Table/Color", fieldType: typeof(string))
        .WithField("Height", xPath: "Furnitures/Table/Height", fieldType: typeof(string))
        .WithField("Scope", xPath: "ToolCounts/Scope", fieldType: typeof(int))
        .WithField("Code", xPath: "Bathroom/Code", fieldType: typeof(int))
        .WithField("Faucet", xPath: "Bathroom/Faucets", fieldType: typeof(int))
    )
    {
        using (SqlBulkCopy bcp = new SqlBulkCopy(connectionstring))
        {
            bcp.DestinationTableName = "dbo.HOUSEINFO";
            bcp.EnableStreaming = true;
            bcp.BatchSize = 10000;
            bcp.BulkCopyTimeout = 0;
            bcp.NotifyAfter = 10;
            bcp.SqlRowsCopied += delegate (object sender, SqlRowsCopiedEventArgs e)
            {
                Console.WriteLine(e.RowsCopied.ToString("#,##0") + " rows copied.");
            };
            bcp.WriteToServer(xr.AsDataReader());
        }
    }

希望这可以帮助。