C++线程池ThreadPool实现解析

Posted 2021-04-04 小猪实验室

C++带有线程操作，异步操作，就是没有线程池。一般而言，当你的函数需要在多线程中运行，但是你又不能每来一个函数就开启一个线程，所以你就需要根据资源情况固定几个线程来执行，但会出现有的线程还没有执行完，有的又在空闲，如何分配任务呢？这时你就需要封装一个线程池来完成这些操作，有了线程池这层封装，你就只需要告诉它开启几个线程，然后直接往里塞任务就行，并通过一定的机制获取执行结果。

下边是一个简单的C++11实现的线程池，原理是管理一个任务队列和一个工作线程队列，工作线程不断的从任务队列取任务，然后执行；如果没有任务就挂起休眠等待新任务的到来。添加新任务的时候先添加到任务队列，然后通知任意一个线程notify_one『别睡了，起来嗨！』。

源代码来自https://github.com/progschj/ThreadPool，有3.9K的start，废话不多说，直接分析代码。

线程池：

/* 
 * threadpool.h
 * 线程池
 */
#pragma once

#include <vector>
#include <queue>
#include <memory>
#include <thread>
#include <mutex>
#include <condition_variable>
#include <future>
#include <functional>
#include <stdexcept>

namespace mars {
namespace util {
class ThreadPool {
 public:
        // 构造函数，传入线程数
        ThreadPool(size_t);
        // 入队任务(传入函数和函数的参数)
        template<class F, class... Args>
        auto enqueue(F&& f, Args&&... args) //任务管道函数
            -> std::future<typename std::result_of<F(Args...)>::type>;   //利用尾置限定符 std::future用来获取异步任务的结果
        // 析构
        ~ThreadPool();
 private:
        // 工作线程组 need to keep track of threads so we can join them
 std::vector< std::thread > workers;
        // 任务队列 the task queue
 std::queue< std::function<void()> > tasks;
        
        // 异步 synchronization
 std::mutex queue_mutex; // 队列互斥锁
 std::condition_variable condition;  // 条件变量
        bool stop;	// 停止标志
};

// 构造函数仅启动一些工作线程 the constructor just launches some amount of workers
inline ThreadPool::ThreadPool(size_t threads)
    :   stop(false)
{
    for(size_t i = 0; i< threads; ++i)
 // 添加线程到工作线程组
 workers.emplace_back( // 与push_back类似，但性能更好(与此类似的还有emplace/emlace_front)
 [this]
 { 
 for(;;) // 死循环，线程内不断的从任务队列取任务执行（这样写比while(true)效率更高？）
 {
 std::function<void()> task; //线程中的函数对象
                    // 通过lock互斥获取一个队列任务和任务的执行函数（大括号作用：控制lock临时变量的生命周期，执行完毕或return后自动释放锁）
                    {
                        // 拿锁(独占所有权式)
 std::unique_lock<std::mutex> lock(this->queue_mutex);
                        // 等待条件成立(当线程池被关闭或有可消费任务时跳过wait继续；否则condition.wait将会unlock释放锁，其他线程可以继续拿锁，但此线程会阻塞此处并休眠，直到被notify_*唤醒，被唤醒时wait会再次lock并判断条件是否成立，如成立则跳过wait，否则unlock并休眠继续等待下次唤醒) 
                        this->condition.wait(lock, [this]{ return this->stop || !this->tasks.empty(); });
                        
                        // 如果线程池停止且任务队列为空，说明需要关闭线程池结束返回
                        if(this->stop && this->tasks.empty())
                            return;
                        // 取得任务队首任务(注意此处的std::move)
                        task = std::move(this->tasks.front());
                        // 从队列移除
                        this->tasks.pop();
                    }
                    // 调用函数执行任务（执行任务时lock已释放，不影响其他线程取任务）
                    task();
                }
            }
        );
}

// 添加一个新的工作任务到线程池 add new work item to the pool
template<class F, class... Args>
auto ThreadPool::enqueue(F&& f, Args&&... args) 
    -> std::future<typename std::result_of<F(Args...)>::type>
{
    using return_type = typename std::result_of<F(Args...)>::type;
    // 将任务函数和其参数绑定，构建一个packaged_task(packaged_task是对任务的一个抽象，咱们能够给其传递一个函数来完成其构造。以后将任务投递给任何线程去完成，经过packaged_task.get_future()方法获取的future来获取任务完成后的产出值)
    auto task = std::make_shared< std::packaged_task<return_type()> >(  //指向F函数的智能指针
 std::bind(std::forward<F>(f), std::forward<Args>(args)...)  //传递函数进行构造
        );
    // 获取任务的future
 std::future<return_type> res = task->get_future();
    {
        // 独占拿锁
 std::unique_lock<std::mutex> lock(queue_mutex);

        // 不允许入队到已经停止的线程池 don't allow enqueueing after stopping the pool
        if(stop)
            throw std::runtime_error("enqueue on stopped ThreadPool");
        // 将任务添加到任务队列
        tasks.emplace([task](){ (*task)(); });
    }
    // 发送通知，唤醒一个wait状态的工作线程取执行任务
    condition.notify_one();
    return res;
}

// 析构线程池 the destructor joins all threads
inline ThreadPool::~ThreadPool()
{
    {
        // 拿锁
 std::unique_lock<std::mutex> lock(queue_mutex);
        // 停止标志置true
        stop = true;
    }
    // 通知所有工作线程，唤醒后因为stop为true了，所以都会结束
    condition.notify_all();
    // 等待所有工作线程结束
    for(std::thread &worker: workers)
        worker.join();  //由于线程都开始竞争了，因此必定会执行完，join可等待线程执行完
}

}
}

线程池测试：

/*
 * test threadpool
 *
 * 编译:
 * g++ test_threadpool.cc -std=c++11 -pthread -o build/test_threadpool
 */
#include <iostream>
#include <vector>
#include <chrono>

#include "mars/util/threadpool.h"

int main(){
    
    LOG(INFO) << "ThreadPool:";
    mars::util::ThreadPool pool(4); //线程池
    std::vector< std::future<int> > results;    //线程执行结果
    // 批量执行线程任务
    for(int i = 0; i < 8; ++i) {
        results.emplace_back(   // 保存线程执行结果到results
            pool.enqueue([i] {  // 添加一个新的工作任务到线程池
                std::cout << "hello " << i << std::endl;
                //std::this_thread::sleep_for(std::chrono::seconds(1));
                //std::cout << "world " << i << std::endl;
                return i*i;
            })
        );
    }
    // 打印线程执行结果
    for(auto && result: results)
        std::cout << "result:" << result.get() << std::endl;
    std::cout << std::endl;
    
    return 0;
}



//执行结果
I1230 22:43:38.986207 234823104 main.cc:511] ThreadPool:
hello hello hello 21
hello 0result:
3

hello hello 5
hello 6
hello 7
4
0
result:1
result:4
result:9
result:16
result:25
result:36
result:49