idou老师教你学Istio 29：Envoy启动流程

Posted 2021-02-11

1. 功能概述

Envoy启动时，会启动一个进程，并在这个进程中启动很多线程，这样，可以启动很多worker线程，一般worker线程数与核心数相同，每个worker线程处理所有已配置的listener上的请求，管理连接并处理filterchain，非阻塞；同时，在这个进程中会启动一个主线程，它负责启动和停止envoy，也是通过API提供配置管理的线程，同时它收集不同的指标，管理其它线程，也是非阻塞的。

2. 重要数据结构定义

2.1 Filter

过滤器，包括listener filter、network filter和http filter。Listener filter可以用于操作连接元数据，在新接收的套接字上进行操作，例如获取原始目的地址，重定向连接等；network filter主要负责数据读写；http filter主要负责数据处理。

2.2 Listener

监听器，envoy中支持在每个线程中配置任意数量的监听器，每个监听器独立配置一定数量的network filter，也可以选择性的配置listener filter，listener filter在连接建立之前处理，network filter在连接建立之后处理。

2.3 Worker

一个worker对应一个envoy的执行线程，将listener绑定在worker上，worker负责监听、过滤和转发，每个连接的生命周期会绑定在一个单独的worker上，通常情况下，envoy实现了100%的非阻塞。

3. 代码流程

3.1 流程概述

Envoy启动时，首先启动主线程，在主线程中对listener和filter进行初始化操作，然后将listener绑定到worker上，并由主线程拉起worker线程，由worker线程负责监听新连接。

3.2 初始化

3.2.1 main入口

main函数是envoy启动的总入口，首先生成main_common，用于后面的初始化。

3.2.2 初始化main_common

在main_common里面会生成maincommonbase，它会做server instance的初始化，一个instance是一个服务的实例.

3.2.3 Instance初始化

在maincommonbase里调用InstanceImpl函数后，首先对启动携带的配置信息进行注册，然后执行instance的初始化。

Instance的初始化包括两部分：

① 将当前instance注册到ListenerManager，来管理更新；

② 创建并初始化MainImpl，MainImpl用来初始化监听listener；

MainImpl根据配置文件获取静态监听listener列表，将它们实例化并注册到ListenerManager。

3.2.4 初始化listener

tener，根据配置文件为它创建ListenerFilterFactoryList，并根据配置为它添加ListenerFilterFactory。

listener filter有三个：original dst filter，proxy protocol filter, TLS inspector filter，一一按照配置判断是否加入ListenerFilterFactoryList。

配置ListenerFilterFactoryList的同时，也会根据配置为这个listener创建NetworkerFilterFactoryList，供后续建立在这个listener上的连接使用。

3.3 启动

3.3.1 启动入口

在main_common初始化正常完成后，执行main_common→run()启动，从而后续执行instance的run()方法，在instance的run()方法，会执行网络级别上的listener初始化。

3.3.2 启动worker，将listener绑定到worker上

此处，会将从配置文件读取的所有listener绑定到所有的worker上，worker是服务的并发线程，数目一般和核心数相同，将listener绑定到worker上后会通过connectionhandler模块将其初始化。

3.3.3 Listener初始化

Listener的初始化过程首先生成ActiveListener，通过ActiveListener调用network包内的创建函数来对listener进行网络级别的初始化。

3.3.5 启动worker线程，进入监听

Listener绑定在worker上，当listener初始化完成后，需要启动worker服务才能真正进入监听流程。

此处，为每个worker启动新线程，并调用libevent的event_base_loop进入监听，等待连接事件到达触发后，回调onAccept进入处理流程。

4. 总结

本文从程序入口main函数开始，分析了envoy如何启动，以及如何对listener、worker这些核心数据结构进行初始化，并详细阐述了从envoy主线程启动到worker线程进入监听行为的全过程。

相关服务请访问https://support.huaweicloud.com/cce/index.html?cce_helpcenter_2019