C# 多线程应用程序和 SQL 连接帮助

Posted 2023-02-22

【中文标题】C# 多线程应用程序和 SQL 连接帮助

【英文标题】：C# Multithreaded application and SQL connections help

【发布时间】：2011-04-29 20:02:25

【问题描述】：

我需要一些关于我编写的应用程序的建议。我遇到的问题是由于我的 DAL 和与我的 SQL Server 2008 数据库的连接没有关闭，但是我查看了我的代码并且每个连接总是被关闭。

该应用程序是一个多线程应用程序，它检索一组记录，并在处理记录时更新有关它的信息。

流程如下：

管理员可以设置要运行的线程数以及每个线程要提取的记录数。

这是他们点击开始后运行的代码：

适配器是我的 DAL 的抽象，这里是它们的样例：

public class UserDetailsAdapter: IDataAdapter<UserDetails>

     private IUserDetailFactory _factory;

        public UserDetailsAdapter()
        
            _factory = new CampaignFactory();
        

        public UserDetails FindById(int id)
             return _factory.FindById(id);
        

一旦调用 _factory，它就会处理 SQL 并立即关闭连接。

线程应用程序代码：

private int _recordsPerthread;


private int _threadCount;

    public void RunDetails()
    
        //create an adapter instance that is an abstration
        //of the data factory layer
        var adapter = new UserDetailsAdapter();

        for (var i = 1; i <= _threadCount; i++)
        
            //This adater makes a call tot he databse to pull X amount of records and 
            //set a lock filed so the next set of records that are pulled are differnt.
            var details = adapter.FindTopDetailsInQueue(_recordsPerthread);
            if (details != null)
            
                var parameters = new ArrayList i, details;
                ThreadPool.QueueUserWorkItem(ThreadWorker, parameters);
            
            else
            
                break;
            
        
    

    private void ThreadWorker(object parametersList)
    
        var parms = (ArrayList) parametersList;
        var threadCount = (int) parms[0];
        var details = (List<UserDetails>) parms[1];
        var adapter = new DetailsAdapter();


        //we keep running until there are no records left inthe Database
        while (!_noRecordsInPool)
        
            foreach (var detail in details)
            
                var userAdapter = new UserAdapter();
                var domainAdapter = new DomainAdapter();

                var user = userAdapter.FindById(detail.UserId);
                var domain = domainAdapter.FindById(detail.DomainId);

                //...do some work here......

                adapter.Update(detail);
            

            if (!_noRecordsInPool)
            
                details = adapter.FindTopDetailsInQueue(_recordsPerthread);


                if (details == null || details.Count <= 0)
                
                    _noRecordsInPool = true;
                    break;
                
            
        
    

应用程序崩溃，因为似乎存在与数据库的连接问题。查看我的 DAL 日志文件，我看到了这个：

超时。超时时间 在获得一个之前经过 来自池的连接。这可能 已经发生，因为所有汇集 连接正在使用和最大池 已达到大小

当我在一个线程中运行它时，它工作正常。我猜当我在多个线程中运行他时，我显然与数据库建立了太多连接。关于如何保持它在多个线程中运行并确保数据库不会给我任何错误的任何想法。

更新： 我在想我的问题可能是我的数据库中的死锁。这是我遇到死锁错误时正在运行的 SQL 代码：

WITH cte AS ( 
  SELECT TOP (@topCount) *
  FROM
  dbo.UserDetails WITH (READPAST) 
WHERE
  dbo.UserDetails where IsLocked = 0)

UPDATE cte 
  SET 
  IsLocked = 1

  OUTPUT INSERTED.*;

我以前从未遇到过此代码的问题（在其他应用程序中）。我重组了我的索引，因为它们 99% 是分散的。那没有帮助。我在这里不知所措。

【参考方案1】：

我对你的代码连接在哪里打开感到困惑，但你可能希望你的数据适配器实现 IDispose（确保在离开 using 范围时关闭池连接）并将你的代码包装在 @987654322 @块：

using (adapter = new UserDetailsAdapter())

    for (var i = 1; i <= _threadCount; i++)
    
        [..]
    
 // adapter leaves scope here; connection is implicitly marked as no longer necessary

ADO.NET 使用连接池，因此无需（而且可能适得其反）显式打开和关闭连接。

【讨论】：

在使用池时调用 .Close() 实际上不会关闭连接。调用.Dispose() 也不会关闭连接。调用.Close() 或.Dispose()（如果在处理前未调用.Dispose() 将调用.Close()）时将连接释放到池中。总是调用.Dispose()（最好使用 using 语句），如果你喜欢的话，也可以选择调用.Close()。

这就是我所说的“没有必要明确关闭它们”的意思（我不知道.Close() 仍然不会明确关闭它们） . using 块一旦离开范围就会处理 .Dispose()，并且 DataAdapter 预计会隐式打开。

【参考方案2】：

我不清楚您实际上是如何连接到数据库的。适配器必须引用连接。

您如何实际初始化该连接？

如果您为每个线程使用新适配器，则必须为每个适配器使用新连接。

我对您的环境不太熟悉，但我敢肯定，在您的数据库开始抱怨之前，您确实需要大量打开的连接！

【讨论】：

适配器只是我的工厂层的抽象。工厂为每个呼叫打开一个连接，完成工作，然后关闭连接。所以每次调用都可能会打开一个到数据库的新连接。

【参考方案3】：

好吧，在做了一些研究后，我发现 SQL Server 2008 中可能存在一个错误并运行并行查询。我将不得不挖掘我找到讨论的链接，但我最终在我的服务器上运行了这个：

sp_configure 'max degree of parallelism', 1; GO RECONFIGURE WITH OVERRIDE; GO

总体而言，这会降低您的服务器性能，因此它可能不适合某些人，但对我来说效果很好。

对于某些查询，我添加了 MAXDOP(n)（n 是要使用的处理器数量）选项，以便它们可以更有效地运行。它确实有点帮助。 其次，我发现我的 DAL 的 Dispose 方法正在使用 GC.Suppressfinalize 方法。所以，我的 finally 部分没有在我的 DAL 中正确触发，也没有关闭我的连接。 感谢所有提供意见的人！