带队列的异步/同步并发调用

Posted

技术标签:

【中文标题】带队列的异步/同步并发调用【英文标题】:Asynchronous/Synchronous concurrent calls with queuing 【发布时间】:2011-08-01 07:12:36 【问题描述】:

我有一个场景,我正在做一些 Actor-Model 类型的消息队列,我想要一个方法来插入任务或委托到队列中(可能是新的 ConcurrentQueue),等待其他一些进程来处理队列,执行任务然后返回结果,最好不加锁。该方法可以同步和异步调用。只能同时运行一个排队的操作

我不知道如何以某种高效的方式完成此任务,请帮助:)

编辑

这是一个尝试,有人发现这种方法有任何问题(排除异常处理)吗?另外,我可以想象这与简单的锁定相比有相当多的开销,它与例如使用异步委托相比如何?

  public partial class Form1 : Form
  
    private BlockingCollection<Task<int>> blockingCollection = new BlockingCollection<Task<int>>(new ConcurrentQueue<Task<int>>());
    private int i = 0;
    public Form1() 
      InitializeComponent();

      Task.Factory.StartNew(() =>
      
          foreach (var task in blockingCollection.GetConsumingEnumerable()) 
            task.Start();
            task.Wait();        
          
      );
    


    public int Queue() 
      var task = new Task<int>(new Func<int>(DoSomething));
      this.blockingCollection.Add(task);
      task.Wait();
      return task.Result;
    

    public int DoSomething() 
      return Interlocked.Increment(ref this.i);
    

    private void button1_Click(object sender, EventArgs e) 
      Task.Factory.StartNew(() => Console.Write(this.Queue()));
    


  

【问题讨论】:

框架中的 TPL Task 并行库与您的需求有什么差距?队列仅由框架处理,根据您的要求有不同的同步选择。 您可能想查看 SmartThreadPool 库 (smartthreadpool.codeplex.com),它可能适合您的需求。 【参考方案1】:

TPL 应该为您执行此操作 - 只需在您的 Task&lt;T&gt; 上调用 Wait() - 但是,没有阻止就无法做到这一点;根据定义,在您的场景中,正是您想要做的。阻止可能通过lock 实现,但也有其他方法 - TPL 隐藏了这一点。就个人而言,在类似的场景中,我使用自定义队列和可用于锁定的小型对象池(从不暴露在包装器之外)来实现。

您可能还想看看 C# 5 async/await 的东西。

但请注意:如果您在等待时不打算做任何有用的事情,您不妨直接在当前线程上运行该代码 - 除非问题是线程绑定的,例如多路复用器。如果你有兴趣,今天晚些时候(或周末)我打算发布 *** 用来与 redis 对话的多路复用器,它(至少在同步模式下)完全有你描述的问题。

作为旁注;如果您可以使用 callback(来自另一个线程),而不必在完成时 wait,那么总体上会更有效率。但它并不适合所有场景。

【讨论】:

以上是关于带队列的异步/同步并发调用的主要内容,如果未能解决你的问题,请参考以下文章

同步,异步,串行队列,并发队列,全局队列,主队列等概念的总结

并发与同步异步的概念

GCD使用 串行并行队列 与 同步异步执行的各种组合 及要点分析

iOS(Swift) TaskProtocol异步任务队列

Day834.Dubbo如何用管程实现异步转同步 -Java 并发编程实战

Day834.Dubbo如何用管程实现异步转同步 -Java 并发编程实战