HP-Socket的高性能

Posted 2023-05-15

参考技术A

HP-Socket 作为底层的通用框架，性能是关键指标，绝对不能成为系统的瓶颈。HP-Socket 在设计上充分考虑性能、使用场景、复杂性和易用性等因素，作出以下几点设计决策： Client 组件：基于 Event Select 通信模型，在单独线程中执行通信操作，避免与主线程或其他线程相互干扰。每个组件对象管理一个 Socket 连接。 Server 组件：基于 IOCP 通信模型，并结合缓存池、私有堆（Private Heap）等技术，支持超大规模连接，在高并发场景下实现高效内存管理。 Agent 组件：对于代理服务器或中转服务器等应用场景，服务器自身也作为客户端向其它服务器发起大规模连接，一个 Agent 组件对象同时可管理多个 Socket 连接；Agent 组件与 Server 组件采用相同的技术架构，可以用作代理服务器或中转服务器的客户端部件。

高性能 TCP/UDP/HTTP 通信框架 HP-Socket v4.0.1 发布

　　HP-Socket 是一套通用的高性能 TCP/UDP/HTTP 通信框架，包含服务端组件、客户端组件和 Agent 组件，广泛适用于各种不同应用场景的 TCP/UDP/HTTP 通信系统，提供 C/C++、C#、Delphi、E（易语言）、Java、Python 等编程语言接口。HP-Socket 对通信层实现完全封装，应用程序不必关注通信层的任何细节；HP-Socket 提供基于事件通知模型的 API 接口，能非常简单高效地整合到新旧应用程序中。

　　为了让使用者能方便快速地学习和使用 HP-Socket，迅速掌握框架的设计思想和使用方法，特此精心制作了大量 Demo 示例（如：PUSH 模型示例、PULL 模型示例、PACK 模型示例、性能测试示例以及其它编程语言示例）。HP-Socket 目前运行在 Windows 平台，将来会实现跨平台支持。

　　《HP-Socket v4.0 开发指南》

----------------------------------------------------------------

通用性

• HP-Socket 的唯一职责就是接收和发送字节流，不参与应用程序的协议解析等工作。
• HP-Socket 与应用程序通过接口进行交互，并完全解耦。任何应用只要实现了 HP-Socket 的接口规范都可以无缝整合 HP-Socket。

易用性

• 易用性对所有通用框架都是至关重要的，如果太难用还不如自己重头写一个来得方便。因此，HP-Socket 的接口设计得非常简单和统一。
• HP-Socket 完全封装了所有底层通信细节，应用程序不必也不能干预底层通信操作。通信连接被抽象为 Connection ID，Connection ID 作为连接的唯一标识提供给应用程序来处理不同的连接。
• HP-Socket 提供 PUSH / PULL / PACK 等接收模型， 应用程序可以灵活选择以手工方式、 半自动方式或全自动方式处理封解包， PULL / PACK 接收模型在降低封解包处理复杂度的同时能大大减少出错几率。

高性能

• Client 组件：基于 Event Select 通信模型，在单独线程中执行通信操作，避免与主线程或其他线程相互干扰。每个组件对象管理一个 Socket 连接。
• Server 组件：基于 IOCP 通信模型，并结合缓存池、私有堆（Private Heap）等技术，支持超大规模连接，在高并发场景下实现高效内存管理。
• Agent 组件：对于代理服务器或中转服务器等应用场景，服务器自身也作为客户端向其它服务器发起大规模连接，一个 Agent 组件对象同时可管理多个 Socket 连接；Agent 组件与 Server 组件采用相同的技术架构，可以用作代理服务器或中转服务器的客户端部件。

伸缩性

　　应用程序能够根据不同的容量要求、通信规模和资源状况等现实场景调整 HP-Socket 的各项性能参数（如：工作线程的数量、缓存池的大小、发送模式和接收模式等），优化资源配置，在满足应用需求的同时不必过度浪费资源。

　　 (项目主页：点击这里，下载地址：点击这里)

---

*** v4.0.1更新 ***

 > 增加 HTTP 系列通信组件：

-----------------

1. 新增 HTTP Server 组件
   1) 组件类：CHttpServer、CHttpsServer
   2) 实现接口：ITcpServer / IComplexHttpResponder
   3) 监听器接口：IHttpServerListener
2. 新增 HTTP Agent 组件
   1) 组件类：CHttpAgent、CHttpsAgent
   2) 实现接口：ITcpAgent / IComplexHttpRequester
   3) 监听器接口：IHttpAgentListener
3. 新增 HTTP Client 组件
   1) 组件类：CHttpClient、CHttpsClient
   2) 实现接口：ITcpClient / IHttpRequester
   3) 监听器接口：IHttpServerListener
4. 新增 HTTP 示例 Demo
   1) TestEcho-Http （源代码）
   2) TestEcho-Http-4C （4C LIB / 4C DLL）
5. Http 监听器
   1) 监听器事件：
   

   OnMessageBegin()	: 【可选】开始解析
   OnRequestLine()		: 【可选】请求行解析完成（仅用于 HTTP 服务端）
   OnStatusLine()		: 【可选】状态行解析完成（仅用于 HTTP 客户端）
   OnHeader()		: 【可选】请求头通知
   OnHeadersComplete()	: 【必须】请求头完成通知
   OnBody()		: 【必须】请求体报文通知
   OnChunkHeader()		: 【可选】Chunked 报文头通知
   OnChunkComplete()	: 【可选】Chunked 报文结束通知
   OnMessageComplete()	: 【必须】完成解析通知
   OnUpgrade()		: 【可选】升级协议通知
   OnParseError()		: 【必须】解析错误通知

   2) 监听器事件返回值（EnHttpParseResult）：
   

   HPR_OK		: 继续解析
   HPR_SKIP_BODY	: 跳过当前请求 BODY（仅用于 OnHeadersComplete 事件）
   HPR_UPGRADE	: 升级协议（仅用于 OnHeadersComplete 事件）
   HPR_ERROR	: 终止解析，断开连接

 > 组件接口调整：

-----------------

1. IServer 和 IAgent 组件的所有监听器回调方法增加‘事件源’参数，如：OnShutdown() -> OnShutdown(T* pSender)
2. IClient 组件的所有监听器回调方法增加‘连接ID’参数，如：OnHandShake(IClient* pClient) -> OnHandShake(T* pSender, CONNID dwConnID)
3. IServer 和 IAgent 接口增加接口方法： Get/SetMaxConnectionCount() 用于设置最大连接数，最大连接数默认：10000
4. OnHandShake() 事件触发规则调整：非 SSL 组件在 OnConnect() 事件后也触发 OnHandShake() 事件，使 SSL 组件和 SSL 组件处理流程一致
5. HPSocket4C 增加 PACK 组件监听器的创建、销毁方法，新版本必须使用下列方法创建、销毁 PACK 组件监听器：
   1) Create_HP_TcpPackServerListener / Destroy_HP_TcpPackServerListener
   2) Create_HP_TcpPackAgentListener / Destroy_HP_TcpPackAgentListener
   3) Create_HP_TcpPackClientListener / Destroy_HP_TcpPackClientListener
   
6. SSL 组件支持 SNI
   1) SSL 初始化方法 HP_SSL_Initialize()，增加 SNI 回调函数指针参数
   2) 新增方法 HP_SSL_AddServerContext()，用于 加载 SNI 主机证书

 > 其他更新：

-----------------

1. IServer 和 IAgent 组件采用 Ring Pool 取代 R/W Lock + Map 维护活动连接，提升读写和并发性能
2. 更新所有 Demo 示例代码

---

*** v3.5.1更新 ***

 > 增加 SSL 系列通信组件：

-----------------

1. 新增 SSL PUSH 组件：CSSLServer、CSSLAgent、CSSLClient
2. 新增 SSL PULL 组件：CSSLPullServer、CSSLPullAgent、CSSLPullClient
3. 新增 SSL PACK 组件：CSSLPackServer、CSSLPackAgent、CSSLPackClient
4. SSL Server 实现 ITcpServer 接口，SSL Agent 实现 ITcpAgent 接口，SSL Client 实现 ITcpClient 接口
5. 启动 SSL 通信组件前需要调用 HP_SSL_Initialize() 函数初始化 SSL 全局环境参数
6. 通信结束后调用 HP_SSL_Cleanup() 函数清理 SSL 全局运行环境
7. 新增 SSL 相关示例 Demo：

   1) TestEcho-SSL		（源代码）
   2) TestEcho-SSL-Pack	（DLL / 4C DLL）
   3) TestEcho-SSL-4C	（4C LIB）
   4) TestEcho-SSL-PFM	（LIB）

> 组件接口调整：

-----------------

1. ITcpServerListener 接口增加 SSL 握手成功事件：OnHandShake(CONNID dwConnID)
2. ITcpAgentListener 接口增加 SSL 握手成功事件：OnHandShake(CONNID dwConnID)
3. ITcpClientListener 接口增加 SSL 握手成功事件：OnHandShake(IClient* pClient)
4. 枚举类型 EnSocketError 增加‘SSL 环境未就绪’错误代码 SE_SSL_ENV_NOT_READY 
5. 增加枚举类型：EnSSLSessionMode（SSL 工作模式），EnSSLVerifyMode（SSL 验证模式） 
6. HPSocket-SSL DLL 主要头文件：SocketInterface-SSL.h，HPSocket-SSL.h
7. HPSocket4C-SSL DLL 主要头文件：HPSocket4C-SSL.h
8. Tcp Pack 系列组件可设置的最大包长调整为 4194303/0x3FFFFF 字节
9. Tcp Pack 系列组件的有效包头标识取值范围调整为 0 ~ 1023/0x3FF

> 增加静态库工程：

-----------------

1. 新增项目工程 HPSocketLIB 和 HPSocketLIB4C 用于编译 HPSocket 和 HPSocket4C 静态库
2. 静态库与动态库的使用方式一致（请参考示例 Demo：TestEcho-SSL-4C 和 TestEcho-SSL-PFM）
3. 使用 HPSocket 或 HPSocket4C 静态库时，需要在工程属性中定义预处理宏 -> HPSOCKET_STATIC_LIB
4. 静态库目标文件不包含在发布包中（因为太大），如果需要请自行编译

---

*** v3.4.4更新 ***

 > 增加 Tcp Pack 系列通信组件：

-----------------

1. Tcp Pack 系列组件保证每个 OnReceive 事件都向应用程序提供一个完整数据包
2. Tcp Pack 系列组件是 PUSH/PULL 模式的结合体，应用程序不必处理分包（如：PUSH）与数据抓取（如：PULL）
3. Tcp Pack 系列组件提供 Get/SetMaxPackSize() 和 Get/SetPackHeaderFlag() 方法，用来设置最大包长和包头标识
4. CTcpPackServer 实现 ITcpServer 接口，CTcpPackAgent 实现 ITcpAgent 接口，CTcpPackClient 实现 ITcpClient 接口

> 组件接口调整：

-----------------

1. OnClose/OnError 合并为一个通信事件： OnClose(CONNID dwConnID, EnSocketOperation enOperation, int iErrorCode)
2. 枚举类型 EnSocketOperation 增加一个枚举值： SO_CLOSE = 5，标识关闭 Socket 操作
3. IServer 和 IAgent 接口删除接口方法： Get/SetRecvPolicy()
4. IServer 和 IAgent 接口删除接口方法： Get/SetMaxShutdownWaitTime()

> Bug 修复：

-----------------

1. 修复 TCP Pack Agent “异步连接失败导致程序崩溃” Bug
2. 修复 vc-common-src 公共代码包的 CCASQueue 可能导致无限循环 Bug

---