在 Microsoft SQL Server 2005 中模拟 group_concat MySQL 函数？

Posted 2023-02-24

【中文标题】在 Microsoft SQL Server 2005 中模拟 group_concat MySQL 函数？

【英文标题】：Simulating group_concat MySQL function in Microsoft SQL Server 2005?

【发布时间】：2017-03-11 08:01:26

【问题描述】：

我正在尝试将基于 mysql 的应用程序迁移到 Microsoft SQL Server 2005（不是自愿选择，但这就是生活）。

在原始应用程序中，我们几乎使用了完全符合 ANSI-SQL 的语句，但有一个明显的例外——我们相当频繁地使用 MySQL 的 group_concat 函数。

group_concat，顺便说一下，这样做：给定一张表，例如，员工姓名和项目...

SELECT empName, projID FROM project_members;

返回：

ANDY   |  A100
ANDY   |  B391
ANDY   |  X010
TOM    |  A100
TOM    |  A510

...这就是你使用 group_concat 得到的结果：

SELECT 
    empName, group_concat(projID SEPARATOR ' / ') 
FROM 
    project_members 
GROUP BY 
    empName;

返回：

ANDY   |  A100 / B391 / X010
TOM    |  A100 / A510

所以我想知道的是：是否可以在 SQL Server 中编写一个用户定义的函数来模拟group_concat 的功能？

我几乎没有使用 UDF、存储过程或类似的东西的经验，只是直接使用 SQL，所以请在解释过多的情况下犯错 :)

【问题讨论】：

几个方便的链接：postgresonline.com/journal/archives/191-stringagg.html 和 consultingblogs.emc.com/jamiethomson/archive/2009/07/16/…

这是一个老问题，但我喜欢the CLR solution given here。

How do I Create a Comma-Separated List using a SQL Query? 的可能副本 - 该帖子更广泛，因此我会选择该帖子作为规范

SQL group_concat function in SQL Server的可能重复

你怎么知道应该按照哪个顺序构建列表，例如您显示 A100 / B391 / X010 但鉴于关系数据库中没有隐式排序，它可以很容易地是 X010 / A100 / B391 或任何其他组合。

【参考方案1】：

没有真正简单的方法可以做到这一点。不过，有很多想法。

Best one I've found:

SELECT table_name, LEFT(column_names , LEN(column_names )-1) AS column_names
FROM information_schema.columns AS extern
CROSS APPLY
(
    SELECT column_name + ','
    FROM information_schema.columns AS intern
    WHERE extern.table_name = intern.table_name
    FOR XML PATH('')
) pre_trimmed (column_names)
GROUP BY table_name, column_names;

或者如果数据可能包含<等字符，则可以正常工作的版本

WITH extern
     AS (SELECT DISTINCT table_name
         FROM   INFORMATION_SCHEMA.COLUMNS)
SELECT table_name,
       LEFT(y.column_names, LEN(y.column_names) - 1) AS column_names
FROM   extern
       CROSS APPLY (SELECT column_name + ','
                    FROM   INFORMATION_SCHEMA.COLUMNS AS intern
                    WHERE  extern.table_name = intern.table_name
                    FOR XML PATH(''), TYPE) x (column_names)
       CROSS APPLY (SELECT x.column_names.value('.', 'NVARCHAR(MAX)')) y(column_names) 

【讨论】：

这个例子对我有用，但我尝试做另一个聚合但它没有工作，给我一个错误：“相关名称'pre_trimmed'在 FROM 子句中指定了多次。”

'pre_trimmed' 只是子查询的别名。子查询需要别名并且必须是唯一的，因此对于另一个子查询将其更改为唯一的...

你能展示一个没有 table_name 作为列名的例子吗？

【参考方案2】：

使用以下代码，您必须在部署之前在项目属性上设置 PermissionLevel=External，并通过运行“ALTER DATABASE database_name SET TRUSTWORTHY ON"。

using System;
using System.Collections.Generic;
using System.Data.SqlTypes;
using System.IO;
using System.Runtime.Serialization;
using System.Runtime.Serialization.Formatters.Binary;
using Microsoft.SqlServer.Server;

[Serializable]
[SqlUserDefinedAggregate(Format.UserDefined,
MaxByteSize=8000,
IsInvariantToDuplicates=true,
IsInvariantToNulls=true,
IsInvariantToOrder=true,
IsNullIfEmpty=true)]
    public struct CommaDelimit : IBinarySerialize



[Serializable]
 private class StringList : List<string>
  

 private StringList List;

 public void Init()
 
  this.List = new StringList();
 

 public void Accumulate(SqlString value)
 
  if (!value.IsNull)
   this.Add(value.Value);
 

 private void Add(string value)
 
  if (!this.List.Contains(value))
   this.List.Add(value);
 

 public void Merge(CommaDelimit group)
 
  foreach (string s in group.List)
  
   this.Add(s);
  
 

 void IBinarySerialize.Read(BinaryReader reader)
 
    IFormatter formatter = new BinaryFormatter();
    this.List = (StringList)formatter.Deserialize(reader.BaseStream);
 

 public SqlString Terminate()
 
  if (this.List.Count == 0)
   return SqlString.Null;

  const string Separator = ", ";

  this.List.Sort();

  return new SqlString(String.Join(Separator, this.List.ToArray()));
 

 void IBinarySerialize.Write(BinaryWriter writer)
 
  IFormatter formatter = new BinaryFormatter();
  formatter.Serialize(writer.BaseStream, this.List);
 
    

我使用如下查询对此进行了测试：

SELECT 
 dbo.CommaDelimit(X.value) [delimited] 
FROM 
 (
  SELECT 'D' [value] 
  UNION ALL SELECT 'B' [value] 
  UNION ALL SELECT 'B' [value] -- intentional duplicate
  UNION ALL SELECT 'A' [value] 
  UNION ALL SELECT 'C' [value] 
 ) X 

并产生：A、B、C、D

【参考方案3】：

现在受益可能为时已晚，但这不是最简单的做事方式吗？

SELECT     empName, projIDs = replace
                          ((SELECT Surname AS [data()]
                              FROM project_members
                              WHERE  empName = a.empName
                              ORDER BY empName FOR xml path('')), ' ', REQUIRED SEPERATOR)
FROM         project_members a
WHERE     empName IS NOT NULL
GROUP BY empName

【讨论】：

有趣。我已经完成了手头的项目，但我会试试这个方法。谢谢！

不错的技巧——唯一的问题是姓氏有空格，它将用分隔符替换空格。

我自己也遇到过这样的问题，马克。不幸的是，在 MSSQL 与时俱进并引入 GROUP_CONCAT 之前，这是我能够为这里需要的东西提出的开销密集型方法中最少的。

谢谢！这是一个显示它工作的 SQL Fiddle：sqlfiddle.com/#!6/c5d56/3

【参考方案4】：

关于 J Hardiman 的回答，怎么样：

SELECT empName, projIDs=
  REPLACE(
    REPLACE(
      (SELECT REPLACE(projID, ' ', '-somebody-puts-microsoft-out-of-his-misery-please-') AS [data()] FROM project_members WHERE empName=a.empName FOR XML PATH('')), 
      ' ', 
      ' / '), 
    '-somebody-puts-microsoft-out-of-his-misery-please-',
    ' ') 
  FROM project_members a WHERE empName IS NOT NULL GROUP BY empName

顺便说一句，“姓”的使用是错字还是我不理解这里的概念？

无论如何，非常感谢大家，因为它为我节省了很多时间:)

【讨论】：

如果你问我的话，回答会很不友好，而且对回答没有帮助。

现在才看到......我不是故意的，当时我对sql server（仍然是）非常沮丧。这篇文章的答案确实很有帮助；编辑：为什么它没有帮助顺便说一句？它对我有用

【参考方案5】：

尝试了这些，但出于我在 MS SQL Server 2005 中的目的，以下是最有用的，我在 xaprb 找到了

declare @result varchar(8000);

set @result = '';

select @result = @result + name + ' '

from master.dbo.systypes;

select rtrim(@result);

@Mark 正如你所说，是空格字符给我带来了问题。

【讨论】：

我认为引擎并不能真正保证这种方法的任何顺序，因为变量是根据执行计划计算为数据流的。到目前为止，它似乎大部分时间都有效。

【参考方案6】：

我参加聚会可能有点晚了，但这种方法对我有用，而且比 COALESCE 方法更容易。

SELECT STUFF(
             (SELECT ',' + Column_Name 
              FROM Table_Name
              FOR XML PATH (''))
             , 1, 1, '')

【讨论】：

这仅显示如何连接值 - group_concat 按组连接它们，这更具挑战性（以及 OP 似乎需要什么）。有关如何执行此操作，请参阅 SO 15154644 的已接受答案 - WHERE 子句是关键添加

@DJDave 指的是this answer。另请参阅the accepted answer to a similar question。

【参考方案7】：

要连接具有多个项目经理的项目中的所有项目经理姓名，请编写：

SELECT a.project_id,a.project_name,Stuff((SELECT N'/ ' + first_name + ', '+last_name FROM projects_v 
where a.project_id=project_id
 FOR
 XML PATH(''),TYPE).value('text()[1]','nvarchar(max)'),1,2,N''
) mgr_names
from projects_v a
group by a.project_id,a.project_name

【参考方案8】：

看看 Github 上的 GROUP_CONCAT 项目，我想我所做的正是您正在寻找的：

该项目包含一组 SQLCLR 用户定义的聚合函数 (SQLCLR UDA)，它们共同提供与 MySQL GROUP_CONCAT 函数类似的功能。有多种功能可确保根据所需功能获得最佳性能...

【讨论】：

@MaxiWheat：很多人在点击否决票之前没有仔细阅读问题或答案。由于他们的错误，它会直接影响所有者发布。

效果很好。我缺少的唯一功能是能够对 MySQL group_concat() 可以喜欢的列进行排序：GROUP_CONCAT(klascode,'(',name,')' ORDER BY klascode ASC SEPARATOR ', ')

【参考方案9】：

SQL Server 2017 确实引入了新的聚合函数

STRING_AGG ( expression, separator).

连接字符串表达式的值并放置分隔符 它们之间的值。分隔符不加在字符串末尾。

可以通过附加WITHIN GROUP (ORDER BY some_expression)对连接的元素进行排序

对于 2005-2016 版本我通常在接受的答案中使用 XML 方法。

然而，这在某些情况下可能会失败。例如如果要连接的数据包含CHAR(29) 你看

FOR XML 无法序列化数据...因为它 包含 XML 中不允许的字符 (0x001D)。

可以处理所有字符的更强大的方法是使用 CLR 聚合。但是，使用这种方法对连接的元素应用排序更加困难。

分配给变量的方法是not guaranteed，在生产代码中应该避免使用。

【讨论】：

这在 Azure SQL 中也可用：azure.microsoft.com/en-us/roadmap/…

【参考方案10】：

对于我的 Google 同事，这是一个非常简单的即插即用解决方案，在与更复杂的解决方案苦苦挣扎一段时间后，它对我有用：

SELECT
distinct empName,
NewColumnName=STUFF((SELECT ','+ CONVERT(VARCHAR(10), projID ) 
                     FROM returns 
                     WHERE empName=t.empName FOR XML PATH('')) , 1 , 1 , '' )
FROM 
returns t

请注意，我必须将 ID 转换为 VARCHAR 才能将其连接为字符串。如果您不必这样做，这里有一个更简单的版本：

SELECT
distinct empName,
NewColumnName=STUFF((SELECT ','+ projID
                     FROM returns 
                     WHERE empName=t.empName FOR XML PATH('')) , 1 , 1 , '' )
FROM 
returns t

所有功劳归于这里： https://social.msdn.microsoft.com/Forums/sqlserver/en-US/9508abc2-46e7-4186-b57f-7f368374e084/replicating-groupconcat-function-of-mysql-in-sql-server?forum=transactsql

【参考方案11】：

UPDATE 2020：SQL Server 2016+ JSON序列化和反序列化示例

OP 提供的数据插入到名为#project_members 的临时表中

drop table if exists #project_members;
create table #project_members(
  empName        varchar(20) not null,
  projID         varchar(20) not null);
go
insert #project_members(empName, projID) values
('ANDY', 'A100'),
('ANDY', 'B391'),
('ANDY', 'X010'),
('TOM', 'A100'),
('TOM', 'A510');

如何将此数据序列化为单个 JSON 字符串，其中包含包含 projID 的嵌套数组

select empName, (select pm_json.projID 
                 from #project_members pm_json 
                 where pm.empName=pm_json.empName 
                 for json path, root('projList')) projJSON
from #project_members pm
group by empName
for json path;

结果

'[
  
    "empName": "ANDY",
    "projJSON": 
      "projList": [
         "projID": "A100" ,
         "projID": "B391" ,
         "projID": "X010" 
      ]
    
  ,
  
    "empName": "TOM",
    "projJSON": 
      "projList": [
         "projID": "A100" ,
         "projID": "A510" 
      ]
    
  
]'

如何将此数据从单个 JSON 字符串反序列化回其原始行和列

declare @json           nvarchar(max)=N'["empName":"ANDY","projJSON":"projList":["projID":"A100",
                                         "projID":"B391","projID":"X010"],"empName":"TOM","projJSON":
                                         "projList":["projID":"A100","projID":"A510"]]';

select oj.empName, noj.projID 
from openjson(@json) with (empName        varchar(20),
                           projJSON       nvarchar(max) as json) oj
     cross apply openjson(oj.projJSON, '$.projList') with (projID    varchar(20)) noj;

结果

empName projID
ANDY    A100
ANDY    B391
ANDY    X010
TOM     A100
TOM     A510

如何将唯一的 empName 持久化到表中并将 projID 存储在嵌套的 JSON 数组中

drop table if exists #project_members_with_json;
create table #project_members_with_json(
  empName        varchar(20) unique not null,
  projJSON       nvarchar(max) not null);
go
insert #project_members_with_json(empName, projJSON) 
select empName, (select pm_json.projID 
                 from #project_members pm_json 
                 where pm.empName=pm_json.empName 
                 for json path, root('projList')) 
from #project_members pm
group by empName;

结果

empName projJSON
ANDY    "projList":["projID":"A100","projID":"B391","projID":"X010"]
TOM     "projList":["projID":"A100","projID":"A510"]

如何从具有唯一 empName 和包含 projID 的嵌套 JSON 数组列的表中反序列化

select wj.empName, oj.projID
from
  #project_members_with_json wj
 cross apply
  openjson(wj.projJSON, '$.projList') with (projID    varchar(20)) oj;

结果

empName projID
ANDY    A100
ANDY    B391
ANDY    X010
TOM     A100
TOM     A510

【讨论】：

老实说，看不出这与所提出的问题有什么关系。 OP 非常具体地询问如何模拟 MySQL 的 GROUP_CONCAT 行为。 GROUP_CONCAT 生成的字符串只是一个由分隔符分隔的值列表。 JSON 格式的字符串远不止这些。

【参考方案12】：

对于 SQL Server 2017+，使用 STRING_AGG() 函数

    SELECT STRING_AGG(Genre, ',') AS Result
    FROM Genres;

示例结果：

结果

摇滚、爵士、乡村、流行、蓝调、嘻哈、说唱、朋克

【讨论】：

有效的解决方案，但它has already been suggested。

【参考方案13】：

2021

@AbdusSalamAzad 的答案是正确的。

SELECT STRING_AGG(my_col, ',') AS my_result FROM my_tbl;

如果结果太大，你可能会得到错误“STRING_AGG聚合结果超过8000字节的限制。使用LOB类型避免结果截断。”，可以通过更改查询来修复对此：

SELECT STRING_AGG(convert(varchar(max), my_col), ',') AS my_result FROM my_tbl;

【讨论】：

已经发布了这么多答案，我认为如果您将关于 8000 字节限制问题及其解决方案的完全有效的注释合并到 answer that first suggested STRING_AGG 中会更好。