C++轻量级Web服务器TinyWebServer源码分析之threadpool篇

Posted BingeBlog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了C++轻量级Web服务器TinyWebServer源码分析之threadpool篇相关的知识,希望对你有一定的参考价值。

文章目录

threadpool线程池篇简介

空间换时间,浪费服务器的硬件资源,换取运行效率.

池是一组资源的集合,这组资源在服务器启动之初就被完全创建好并初始化,这称为静态资源.

当服务器进入正式运行阶段,开始处理客户请求的时候,如果它需要相关的资源,可以直接从池中获取,无需动态分配.

当服务器处理完一个客户连接后,可以把相关的资源放回池中,无需执行系统调用释放资源.

线程池的设计模式为半同步/半反应堆,其中反应堆具体为Proactor事件处理模式。

具体的,主线程为异步线程,负责监听文件描述符,接收socket新连接,若当前监听的socket发生了读写事件,然后将任务插入到请求队列。工作线程从请求队列中取出任务,完成读写数据的处理。以下为具体类的定义源码:

class threadpool

public:
    /*thread_number是线程池中线程的数量,max_requests是请求队列中最多允许的、等待处理的请求的数量*/
    threadpool(int actor_model, connection_pool *connPool, int thread_number = 8, int max_request = 10000);
    ~threadpool();
    bool append(T *request, int state);
    bool append_p(T *request);

private:
    /*工作线程运行的函数,它不断从工作队列中取出任务并执行之*/
    static void *worker(void *arg);
    void run();

private:
    int m_thread_number;        //线程池中的线程数
    int m_max_requests;         //请求队列中允许的最大请求数
    pthread_t *m_threads;       //描述线程池的数组,其大小为m_thread_number
    std::list<T *> m_workqueue; //请求队列
    locker m_queuelocker;       //保护请求队列的互斥锁
    sem m_queuestat;            //是否有任务需要处理
    connection_pool *m_connPool;//数据库
    int m_actor_model;          //模型切换
;

需要注意的问题:
threadpool也是采用RALL机制,并且是类内声明,类外初始化;
线程处理函数和运行函数设置为私有属性;

1、worker为啥要采用静态成员函数的方法?

理由一、pthread_create的函数原型中第三个参数的类型为函数指针,指向处理线程函数的地址。
该函数,要求为静态函数。如果处理线程函数为类成员函数时,需要将其设置为静态成员函数。(或者可以采用强制类型转换?)

理由二、pthread_create的函数原型中第三个参数的类型为函数指针,指向的线程处理函数参数类型为(void *),
若线程函数为类成员函数,则this指针会作为默认的参数被传进函数中,从而和线程函数参数(void*)不能匹配,不能通过编译。
静态成员函数就没有这个问题,里面没有this指针。

2、为啥要定义worker函数调用run,不能直接run吗?

一、线程池的创建与回收

构造函数中创建线程池,pthread_create函数中将类的对象作为参数传递给静态函数(worker),在静态函数中引用这个对象,并调用其动态方法(run)。

具体的,类对象传递时用this指针,传递给静态函数后,将其转换为线程池类,并调用私有成员函数run。

template <typename T>
threadpool<T>::threadpool( int actor_model, connection_pool *connPool, int thread_number, int max_requests) : m_actor_model(actor_model),m_thread_number(thread_number), m_max_requests(max_requests), m_threads(NULL),m_connPool(connPool)

    if (thread_number <= 0 || max_requests <= 0)
        throw std::exception();
    m_threads = new pthread_t[m_thread_number];
    if (!m_threads)
        throw std::exception();
    for (int i = 0; i < thread_number; ++i)
    
        if (pthread_create(m_threads + i, NULL, worker, this) != 0)
        
            delete[] m_threads;
            throw std::exception();
        
        if (pthread_detach(m_threads[i]))
        
            delete[] m_threads;
            throw std::exception();
        
    

二、向请求队列添加请求任务

通过list容器创建请求队列,向队列中添加时,通过互斥锁保证线程安全,添加完成后通过信号量提醒有任务要处理,最后注意线程同步。

template <typename T>
bool threadpool<T>::append(T *request, int state)

    m_queuelocker.lock();//加锁保证线程安全
    if (m_workqueue.size() >= m_max_requests)//根据硬件,预设请求队列最大值
    
        m_queuelocker.unlock();//超出请求队列最大值就解锁返回false
        return false;
    
    request->m_state = state;
    m_workqueue.push_back(request);//添加任务
    m_queuelocker.unlock();
    m_queuestat.post();//信号量提醒线程池有任务要处理
    return true;

三、worker函数内部访问run函数,完成线程处理

内部访问私有成员函数run,完成线程处理要求。

template <typename T>
void *threadpool<T>::worker(void *arg)

    threadpool *pool = (threadpool *)arg;将参数强转为线程池类,调用成员方法
    pool->run();
    return pool;

四、run函数执行任务

从请求队列中取出任务进行具体的业务逻辑处理

void threadpool<T>::run()

    while (true)
    
        m_queuestat.wait();//信号量等待
        m_queuelocker.lock();//被唤醒后先加互斥锁
        if (m_workqueue.empty())
        
            m_queuelocker.unlock();
            continue;
        
        T *request = m_workqueue.front();//从请求队列中取出第一个任务   
        m_workqueue.pop_front();//将任务从请求队列删除
        m_queuelocker.unlock();
        if (!request)
            continue;
        if (1 == m_actor_model)//模式判断
        
            if (0 == request->m_state)
            
                if (request->read_once())
                
                    request->improv = 1;
                    connectionRAII mysqlcon(&request->mysql, m_connPool);//从连接池中取出一个数据库连接
                    request->process();//process(模板类中的方法,这里是http类)进行处理
                
                else
                
                    request->improv = 1;
                    request->timer_flag = 1;
                
            
            else
            
                if (request->write())
                
                    request->improv = 1;
                
                else
                
                    request->improv = 1;
                    request->timer_flag = 1;
                
            
        
        else
        
            connectionRAII mysqlcon(&request->mysql, m_connPool);
            request->process();
        
    

原文链接

https://mp.weixin.qq.com/s?__biz=MzAxNzU2MzcwMw==&mid=2649274278&idx=5&sn=87470bb3ade0150bb94fcbf33c43c2f8&chksm=83ffbefeb48837e843cfc8258248a1e1b69b48ed993c51861ec63e3b0541fa4714a3846adf90&scene=178&cur_album_id=1339230165934882817#rd

GitHub 开源推荐 | 一个轻量级高性能的 C++ Web 框架

星标/置顶 公众号👇,硬核文章第一时间送达!

 Github 开源推荐

专注分享 GitHub 上有趣、好玩的开源项目,以帮助大家提高编程技巧,找到编程乐趣。

如果你对开源感兴趣,想和大家分享一些优质项目,随时欢迎投稿(微信号:iwaleon)。

说起 Web 开发,大多数人会想到 Java、Python、Golang ... 因为它们的主流 Web 框架有很多,Java 有非常知名的 Spring 全家桶,Python 有大而全的 Django、小而精的 Flask、高性能的 Tornado,Golang 也有快速灵活的 Gin、Echo 等框架。

相比之下,C/C++ 阵营则逊色不少。之前,我曾写过一篇《C++ Web(HTTP)开发 10 大利器》,其中介绍了一些 C/C++ Web 框架。有一个名为 Oat++ 的很不错,轻量、跨平台、高性能、完全零依赖,非常值得学习!

1

Oat++ 介绍

要深入了解 Oat++,离不开这几个网址:

  • Oat++ 主页:https://oatpp.io

  • Oat++ 文档:https://oatpp.io/docs/start

  • GitHub 地址:https://github.com/oatpp/oatpp

其主要特性有:

  • 随处运行

    Oat++ 没有任何依赖性,可以很容易地移植到各种支持的平台上(Linux、MacOS、Windows)。

  • 构建健壮的api

    使用 Oat++ Simple-API,构建灵活而健壮的 API 既简单又有趣。

  • 处理 500 万个连接

    使用 Oat++ Async-API,可以在单个服务器上处理超过 500 万个并发连接。

  • 访问数据库

    Oat++ ORM 提供了一种简单而统一的方式来访问数据库

  • 保持代码一致

    Oat++ 在整个代码库中依靠对象映射来确保 API 和数据模型的一致性

  • 生成 API 文档

    使用 Swagger-UI 和 OpenAPI 3.0.0 自动记录 endpoints

最吸引我的是 HTTP/HTTPS、文件上传/下载、以及强大的  Swagger API 功能。

2

编译 Oat++

进入 Oat++ 的 GitHub 页面,你会发现 Star 多达 4K+,贡献者有 30 多个,且最近几天还有代码提交,所以不用担心热度和活跃度,这个框架一直有人在积极地维护。

环境要求

Oat++ 的编译过程很简单,只需要有基本的开发环境就行了:

  • Git

  • 编译器支持的 C++ 版本 >= 11

  • Make

  • CMake 版本 >= 3.1

如果没有的话,按照下述步骤安装,以 Ubuntu 为例:

$ sudo apt install git
$ sudo apt install cmake
$ sudo apt install build-essential

编译安装

下载 Oat++ 源码:

$ git clone https://github.com/oatpp/oatpp.git

随后,执行编译安装四部曲:

$ cd oatpp/
$ mkdir build && cd build
$ cmake ..
$ sudo make && sudo make install

3

示例程序

为了演示 Oat++,我们从最简单的“Hello, World!”开始!

创建一个 CMake 项目,CMakeLists.txt 配置如下:

cmake_minimum_required(VERSION 3.1)
project(helloworld)

set(CMAKE_CXX_STANDARD 11)
set(SOURCE_FILES main.cpp handler.h)

# 查找 oatpp 依赖
find_package(oatpp REQUIRED)

add_executable(${PROJECT_NAME} ${SOURCE_FILES})

# 将目标文件与库文件进行链接
target_link_libraries(${PROJECT_NAME} oatpp::oatpp)

默认情况下,Oat++ 会对客户端请求响应 404,除此之外什么都不做。

若要添加自定义响应,必须实现 HttpRequestHandler:

// handler.h
#ifndef HANDLER_H
#define HANDLER_H

#include "oatpp/web/server/HttpRequestHandler.hpp"

#define O_UNUSED(x) (void)x;

// 自定义请求处理程序
class Handler : public oatpp::web::server::HttpRequestHandler
{
public:
    // 处理传入的请求,并返回响应
    std::shared_ptr<OutgoingResponse> handle(const std::shared_ptr<IncomingRequest>& request) override {
        O_UNUSED(request);

        return ResponseFactory::createResponse(Status::CODE_200, "Hello, World!");
    }
};

#endif // HANDLER_H

有了处理程序之后,需要通过 Router 将请求路由到它:

// main.cpp
#include "oatpp/web/server/HttpConnectionHandler.hpp"
#include "oatpp/network/tcp/server/ConnectionProvider.hpp"
#include "oatpp/network/Server.hpp"
#include "handler.h"

void run()
{
    // 为 HTTP 请求创建路由器
    auto router = oatpp::web::server::HttpRouter::createShared();

    // 路由 GET - "/hello" 请求到处理程序
    router->route("GET", "/hello", std::make_shared<Handler>());

    // 创建 HTTP 连接处理程序
    auto connectionHandler = oatpp::web::server::HttpConnectionHandler::createShared(router);

    // 创建 TCP 连接提供者
    auto connectionProvider = oatpp::network::tcp::server::ConnectionProvider::createShared({"localhost", 8000, oatpp::network::Address::IP_4});

    // 创建服务器,它接受提供的 TCP 连接并将其传递给 HTTP 连接处理程序
    oatpp::network::Server server(connectionProvider, connectionHandler);

    // 打印服务器端口
    OATPP_LOGI("MyApp", "Server running on port %s", connectionProvider->getProperty("port").getData());

    // 运行服务器
    server.run();
}

int main()
{
    // 初始化 oatpp 环境
    oatpp::base::Environment::init();

    // 运行应用
    run();

    // 销毁 oatpp 环境
    oatpp::base::Environment::destroy();

    return 0;
}

4

请求验证

运行程序,在浏览器中访问 http://localhost:8000/hello,就会显示“Hello, World!”信息了:

或者使用 curl 请求 http://127.0.0.1:8000/hello,效果一样:

$ curl http://127.0.0.1:8000/hello
Hello, World!

感兴趣?还在等什么,赶紧关注吧,后面的内容更加精彩!

往期推荐

☞ 专辑 | 趣味设计模式

☞ 专辑 | 音视频开发

☞ 专辑 | C++ 进阶

☞ 专辑 | 超硬核 Qt

☞ 专辑 | 玩转 Linux

☞ 专辑 | GitHub 开源推荐

☞ 专辑 | 程序人生

关注公众「高效程序员」👇,一起优秀!

回复 “入群” 进技术交流群,回复 “1024” 获取海量学习资源。

以上是关于C++轻量级Web服务器TinyWebServer源码分析之threadpool篇的主要内容,如果未能解决你的问题,请参考以下文章

Linux下C++轻量级Web服务器(含源码和测试地址)

用线程池实现的简单web服务器--tinywebserver

Tinywebserver:一个简易的web服务器

一个简易的web服务器:Tinywebserver

C++ tinyWebServer [零]

[C++][转载]一个轻量级高性能的 C++ Web 框架oat++