将分隔列拆分为另一个表中的单独行的高效查询

Posted 2023-04-13

【中文标题】将分隔列拆分为另一个表中的单独行的高效查询

【英文标题】：Efficient query to split a delimited column into separate rows in another table

【发布时间】：2012-04-16 22:20:56

【问题描述】：

我有一些数据包含带有分隔数据的列。本质上同一列中有多条记录：

A0434168.A2367943.A18456972.A0135374.A0080362.A0084546.A0100991.A0064071.A0100858

我正在尝试将此列中的数据拆分为另一个表中的单独行。这些值的长度可变，并由句点分隔。我一直在尝试使用游标为这些数据创建一个查找表。由于数据量大，光标慢得不合理。

我的光标如下所示：

DECLARE @ptr nvarchar(160)
DECLARE @aui nvarchar(15)
DECLARE @getmrhier3 CURSOR 

SET @getmrhier3 = CURSOR FOR
    SELECT  cast(ptr as nvarchar(160)),aui
    FROM    mrhier3
    FORWARD_ONLY
OPEN @getmrhier3
FETCH NEXT
    FROM @getmrhier3 INTO @ptr, @aui

WHILE @@FETCH_STATUS = 0
BEGIN
    if(len(@ptr) > 0)
    begin
        if(charindex('.',@ptr) > 0)
        begin
            insert into mrhierlookup(hieraui,aui)
            values      (substring(@ptr,0,charindex('.',@ptr)),@aui)
            
            update  mrhier3
            set     ptr = substring(@ptr,charindex('.',@ptr)+1,LEN(@ptr))
            where   aui = @aui 
              and   ptr = @ptr
        end
        else
        begin
            insert into mrhierlookup(hieraui,aui)
            values      (@ptr,@aui)
            
            update  mrhier3
            set     ptr = ''
            where   aui = @aui 
              and   ptr = @ptr
        end
    end
    FETCH NEXT
        FROM @getmrhier3 INTO @ptr, @aui
END

CLOSE       @getmrhier3
DEALLOCATE  @getmrhier3

当前版本的光标只作用于列的前导值。所有长度都是任意的。该列的长度最多约为 150 个字符。

使用当前数据集，构建查找表可能需要几天时间。它将有几百万条记录。

有没有更好的方法可以有效（快速）地将这些数据解析到单独的表中，以便更快地执行连接操作？

【问题讨论】：

无意冒犯，但是您如何阅读自己的代码？它会让你做噩梦吗？缩进、回车、空格和语句终止符有很长的路要走。

看起来类似于***.com/questions/314824/… 或***.com/questions/2647/split-string-in-sql

@xQbert：类似，但由于列方向不同而仍然不同。

【参考方案1】：

创建拆分函数：

CREATE FUNCTION dbo.SplitStrings(@List NVARCHAR(MAX))
RETURNS TABLE
AS
   RETURN ( SELECT Item FROM
       ( SELECT Item = x.i.value('(./text())[1]', 'nvarchar(max)')
         FROM ( SELECT [XML] = CONVERT(XML, '<i>'
         + REPLACE(@List, '.', '</i><i>') + '</i>').query('.')
           ) AS a CROSS APPLY [XML].nodes('i') AS x(i) ) AS y
       WHERE Item IS NOT NULL
   );
GO

然后摆脱所有的光标和循环废话并这样做：

INSERT dbo.mrhierlookup
(
  heiraui,
  aui
)
SELECT s.Item, m.aui
  FROM dbo.mrhier3 AS m
  CROSS APPLY dbo.SplitStrings(m.ptr) AS s
GROUP BY s.Item, m.aui;

【讨论】：

成功了，并在大约 5 秒内创建了一个包含几百万行的表！