kubelet启动流程解析（一）启动方式及初始化解析

Posted 2023-04-23

参考技术A 我们一般以 systemd 系统守护进程的方式启动 kubelet

我们看下 service 配置

其中启动部分执行了 /usr/local/bin/kubelet 二进制文件，启动的参数我们暂且不关注。

/usr/local/bin/kubelet 二进制文件是由 kubernetes 源码编译而来，接下来让我们从 kubelet 源码角度分析它的启动流程

启动主函数位于: kubernetes/cmd/kubelet/kubelet.go

接下来我们来分析 kubelet 初始化流程

源码位置: kubernetes/cmd/kubelet/app/server.go

Android核心服务解析篇——Android系统的启动

从大的方面来说。Android系统的启动能够分为两个部分：第一部分是Linux核心的启动，第二部分是Android系统的启动。

第一部分主要包含系统引导，核心和驱动程序等，因为它们不属于本篇要讲的内容，这里就不再讨论。

在本篇博客中，我们重点解说Android系统的启动，这一过程主要经过两个阶段。各自是应用的初始化流程与system_service进程及核心服务的创建流程。

1.初始化流程

初始化流程。顾名思义，它完毕Android的一些初始化工作，包含设置必要的环境变量，启动必要的服务进程，挂载必要的设备等，而这些工作将会为整个Android打下坚实的基础。

①应用的初始化流程

在核心启动完毕以后。将进入Android文件系统及应用的初始化流程。此时将会转向运行init.c中的main()函数（路径：/system/core/init/init.c），该函数的运行流程例如以下图所看到的：

以下我们了解一下上图中的注解

注解1：/dev表示设备文件系统或者udev挂载点。/proc用来挂载存放系统过程性信息的虚拟文件系统，/sys用于挂载“sysfs文件系统”。因为前面调用了umask（0）。因此mkdir（“/dev”，0755）得到的权限应该是0755.

注解2：init.rc的解析结果是形成action_list（onkeyword相关的部分），service_list（service_keyword相关的部分）以及action_queue（须要运行的命令或服务），以便兴许流程使用。

注解3：解析/proc/cmdline文件，将当中的属性导入Android系统全局变量。

注解4：

Ⅰget_hardware_name()方法用于解析/proc/cpuinfo文件获取硬件信息，并用于拼接成一个init.<hardware_name>.rc文件。继续解析。

Ⅱ在解析init.rc文件的过程中，系统会依据该文件的内容形成一些须要命令，动作或者触发器的列表并将这些存入在内在中，以便在必要的时候使用。

不同的厂商可能依据不同的硬件需求定制不同的.rc文件，这些.rc文件的名称一般为“init.<hardware_name>.rc”，而解析这些.rc文件的结果相同也会形成一些命令，动作或者触发器的列表，而这些列表将会合并解析init.rc所得的命令和动作的列表中，而且形成终于须要运行的命令和动作。

注解5：加入顺序为：early-init下的全部动作,wait_for_coldboot_done_action，property_init_action。keychord_init_action，console_init_action,set_init_properties_action。init下的动作，property_service_init_action，signal_init_action。check_startup_action，early-boot下的全部动作，boot下的全部动作。queue_property_triggers_action。这些动作组成了开机过程中看到的设备的状态，比方开机动画等。

注解6：这里会启动运行设置属性，创建或挂载动作以及启动服务等操作。

须要注意是的这里启动的服务包含最重要的servicemanager和zygote服务进程。

至此。init进程进入死循环中处理一些消息以等待命令的到来。

在这个过程中。我们将要了解下面知识。

Ⅰ在init执行的过程中产生了很多服务，它们是整个Android的基础。各自是ueventd，console，adbd，servicemanager。vold，netd，debuggerd，ril-daemon，surfaceflinger，zygote，drm。media。bootanim。dbus。bluetoothd，installd，flash_recovery，racoon，mtpd，keystore和dumstate。

Ⅱ整个init的行为甚至整个Android核心的属性都受到启动脚本init.rc的影响。

以下我们就重点介绍zygote的启动行为。具体了解init.rc的语法。

②init.rc的使用方法

Android初始化语言由声明的4个类型组成，它们各自是动作（action），命令（command），服务（service），和选项（option），以#开头的行表示凝视。

动作和服务声明新的一节而且有唯一的名字，全部的命令或者选项属于近期声明的节。

假设下一个动作或者服务的名字已存在（也就是重名），则它将作为错误被忽略。

Ⅰ动作

动作是命令序列。它有一个触发器，用于确定行动应在何时发生。

当发生某一个事件时，它能够匹配到一个动作触发器，而且该动作会被加入到要运行队列的尾部（除非它已经在队列中了）。

队列中的每一个动作是按顺序出列的，详细例如以下所看到的：

on early-init

write /proc/1/oom-adj -16

setcon u:r:init:s0

start ueventd

动作表现为下面的形式：

on <trigger>

<command>

<command>

<command>

.........

触发器是一些字符串。这些字符串可用于匹配一定类型的事件，而且用于触发动作。

下表罗列了一些触发器的定义。

触发器	说明
boot	当初始化流程触发的时候。boot是首先被触发的动作（在完毕/init.conf文件载入之后）
<name>=<value>	当以<name>命名的属性被设为特定的值<value>时，该触发器发生
device-added-<path>	当加入设备节点时，device-added-<path>定义的触发器执行
device-removed-<path>	当移除设备节点时，device-removed-<path>定义的触发器执行
service-exited-<name>	当指定的服务退出时，service-exited-<name>类型的触发器执行
<string>	自己定义的触发器。可由init代码负责管理

Ⅱ命令

命令是组成动作的成员，也就是说。动作由一个个命令组成。下表罗列了动作支持的命令。

命令	说明
exec  <path> [<argument>]*	fork并运行程序（<path>）。 这在程序完毕运行之前将堵塞一切进程，因此最好避免使用exec命令。该命令中两个參数的含义例如以下所看到的。 ?<path>：可运行文件的路径 ?[<argument>]*：可运行文件所需的參数，參数个数能够是0或者多个
export <name> <value>	设置名字为<name>的环境变量为<value>
ifup <interface>	打开网络接口<interface>
import <filename>	解析一个初始化配置文件。导入系统中
hostname <name>	设置主机名
chdir <directory>	改动工作文件夹。它的功能和cd命令一样
chmod <octal-mode> <path>	改动文件的訪问权限
chown <owner> <group> <path>	改动<path>指定的问题的全部者和组
chroot <directory>	改动进程根文件夹为<directory>
class_start <serviceclass>	启动<serviceclass>类别的服务。假设它们没有执行的话
class_stio <serviceclass>	停止<serviceclass>类别的服务，假设它们已经处于执行状态的话
domainname <name>	设置域名
insmod <path>	在<path>上安装模块
mkdir <path> [mode] [owner] [group]	创建一个文件夹，当中文件夹路径以及名称由<path>指明。 这里能够通过參数给定文件夹的模式，全部者和组。假设没有提供[mode] [owner] [group]。则用权限755来创建文件夹，而且它属于root用户root组
mount <type> <device> <dir> [<mountoption>]*	尝试在文件夹<dir>上挂载被命名的设备，<device>可能是[email protected]的形式。以便指定名为mtd块的设备。<mountoption>包含ro，rw，remount和noatime等
setkey	TBD
setprop <name> <value>	设置系统属性<name> 为<value>
setrlimit <resource> <cur> <max>	设置指定资源的使用限制
start <service>	启动指定的服务。假设服务还没有执行的话
stop <service>	停止指定的服务，假设服务眼下正在执行的话
symlink <target> <path>	用值<target>来在<path>上创建一个符号链接
sysclktz <mins_west_of_gmt>	设置系统闹钟基准(假设系统闹钟为GMT。则为0)
trigger <event>	触发一个事件。用于运行该触发器中的操作
write <path> <string> [<string>]*	在<path>上打开文件而且用write(2)来将一个或多个字符串写到文件上。

在init.rc中，Android 定义了若干动作，而且这些动作用于完毕Android的初始化工作。以下以当中一个动作的配置来说明一下：

on fs

mount yaffs2 [email protected] /system

mount yaffs2 [email protected] /system ro remount

mount yaffs2 [email protected] /data nosuid nodev

mount yaffs2 [email protected] /cache nosuid nodev

这个样例配置了一个触发器为fs的动作，它由4条命令组成，这4条命令都使用mount命令挂载设备。

Ⅲ服务

服务是一些程序，当它们退出的时候。init启动而且（选择性地）又一次启动。

服务表现为下面形式：

service <name> <pathname> [<argument>]*

<option>

<option>

...........

当中各个參数的含义例如以下所看到的：

?<name>：为服务指定一个名字。

?<pathname>：指定服务须要运行的文件路径。

?[<argument>]*：启动服务所须要的參数，參数个数能够是0个或者多个。

Ⅳ选项

选项是服务的改动器。能够影响怎样以及何时初始化执行服务。下表罗列了选项列表。

选项	说明
critical	这是一个对于设备来说比較关键的服务，假设它在4分钟内退出超过4次，那么设备将又一次启动并进入recovery模式。
disabled	这个服务不能通过类别自己主动启动，它必须通过服务名字来显示启动
setenv <name> <value>	设置启动进程中环境变量（由<name>指定）的值为<value>
socket <name> <type> <perm> [<user> [<group>]]	创建名为/dev/socket/<name>的一个Unix域port而且将它的fd传递到被启动的进程上 <type>必须是dgram,stream,seqpacket.设置用户和组的默认值为0
user <username>	在运行该服务之前变换username，假设进程须要Linux的能力，就不能使用该命令
group <groupname> [<groupname>]*	在运行该服务之前变换组名
oneshot	在服务退出时不要又一次启动它
class <name>	为服务指定一个类名。一个被命名的类中的全部服务都能够一起被启动或停止。 假设服务没有通过类选项来指定的话，它是在类default中的
onrestart	当服务又一次启动时。运行一条命令

以下以init.rc文件里的配置为例简要说明一个服务的配置：

service zygote /system/bin/app_process -Xzygote /system/bin -zygote

--start-system-server

class main

socket zygote stream 666

onrestart write /sys/android_power/request_state wake

onrestart write /sys/power/state on

onrestart restart media 

onrestart restart netd

在上面代码中，第一行配置了一个名为zygote的服务，这个服务将会执行/system/bin/app_process，剩余部分为參数（以空格切割）。

剩下的几行代码声明了此服务的选项。

这说明zygote是一个类型为main的服务（classmain）而且它会创建一个socket。这个socket的类型为stream，权限为666（socket zygote stream 666）。当重新启动此服务的时候，须要完毕下面事情。

?写/sys.android_power/request_state为wake

?写/sys/power/state为on

?又一次启动media服务

?又一次启动netd服务

init.rc文件须要在init启动期被解析成系统能够识别的数据结构。

前面我们读懂了init.rc的含义，以下我们就来看看init是怎样保存和组织这些信息的，首先，我们来看看在init中怎样表示动作，服务和命令，例如以下表所看到的：

组件	数据结构	说明
列表节点（listnode）	<<struct>> listnode +next：listnode +prev：listnode	listnode是一个表示位置的数据结构，能够用来定义不同类型节点（比方动作或者服务）的运行顺序 从左側的数据结构中能够看出。这里包括了两个listnode的指针。它们用于指向前一个和后一个将要运行的节点 这些信息将帮助各种节点（动作，服务，以及命令等）组成一个双向循环列表
动作（action）	<<struct>> action +alist:：listnode +qlist：listnode +tlist：listnode +hash：signed int +*name：char +commands：listnode +*current：command	action中包括4个表示节点位置信息的节点，它们分别表示它本身在全部动作中的位置(alist)，在加入动作的队列中的位置（qlist），以及在某个触发器中的全部动作列表的位置（tlist） action 数据结构中包括了其它的重要信息，比方动作的名字（name），包括的全部命令列表（commands）以及当前命令
服务（service）	<<struct>> service +slist：listnode +*name：char +*classname：char +flags：unsigned +pid：pid_t +time_started：time_t +time_crashed：time_t +nr_crashed：int +uid：uid_t +gid：gid_t +supp_gids[NR_SVC_SUPP_GIDS]：gid_t +*sockets：socketinfo +*envvars：svcenvinfo +onrestart：action +*keycodes：int +nkeycodes：int +keychord_id：int +ioprio_class：int +ioprio_pri：int +nargs：int +*arg[1]：char	这个数据结构中包括了服务的信息。主要包括例如以下内容： ?该服务在全部服务列表中逻辑位置的数据结构“listnode”（slist） ?服务的基本信息。比方服务的名称，进程的相关信息，所须要參数信息等
命令(command)	<<struct>> command +clist：listnode +(*func)(int nargs,char **args)：iint +nargs：int +*args[1]：char	这个数据结构中包含下面内容： ?节点的位置信息（clist） ?命令须要运行的函数的函数指针(func) ?參数信息：nargs和args[1]

最后。我们通过解析init.rc中的一个片段来说明解析过程。

開始解析之前，须要了解整个解析过程至关重要的一个数据结构，那就是parse_state,它保存了整个解析过程中所处的状态，下图显示了它的“成分”

<<struct>> parse_state

+*ptr：char +*text：char +line：int +nexttoken：int +*context：void +(*parse_line)(struct parse_state *state,int nargs,char **args)：void +*filename：char

③用init解析整个init.rc文件

如今我们 回到init启动的初期，这里它调用了init_parse_config_file()方法，而这种方法就是解析init.rc文件的入口。

用init解析整个init.rc文件的流程例如以下图所看到的。

以下我们了解一下上图中的注解、

注解1：state是一个被命名为parser_satte的结构体。用于保存当前文件的解析状态信息。包含解析的文件(filename)，当前解析的行号(line)，当前解析的文字指针(ptr)，指示下一个动作的变量(nexttoken)以及解析这一行须要的函数指针(parse_line)等。

注解2：next_token()函数位于/system/core/init/parse.c中。用于分析init.rc文件的内容。它仅仅返回3个状态，各自是：T_EOF(文件结束)，T_NEWLINE(一行结束)和T_TEXT(表示遇到第一个空格)。

注解3：init.rc中每一行的信息通过空格被切割为若干段，而这些信息共同组成args[INIT_PARSER_MAXARGS]的内容，并由nargs计数。

比如on fs经过解析后。这一行分为两段（各自是on和fs）。分别存放在args中，计数器的值为2.。

注解4：init.rc的每一行经过切割后，须要分析其类型（由lookup_keyword返回）。/system/core/init/keywords.h中定义了全部关键字的类型。在片段KEYWORD(on,SECTION,0,0)中。on关键字是一个SECTION，有0个（也就是不须要）參数，没有相应的触发函数（也就是最后一个0）。

注解5：state.parse_line是一个函数的指针，能够依据keyword指向两种不同的解析方法——parse_line_service(处理服务的选项)和parse_line_action（处理行为的命令）。依照这个流程，init完毕整个init.rc文件的解析，并生成service_list和action_list。兴许流程所须要的信息将从这两个列表中获取，将须要运行的命令或启动的服务增加action_queue中。这样就完毕了Android系统基础部分的启动。

在启动的过程中，须要特别注意的是，我们通过action_for_each_trigger()方法声明须要运行的命令队列，该方法的代码例如以下所看到的：

void action_for_each_trigger(const char * trigger,void (*func)(struct action *act)){

struct listnode * node。

struct action *act;

list_for_each(node,&action_list){

act=node_to_item(node,struct action,alist);

if(!strcmp(act->name,trigger)){

func(act)；

}

}

}

在上述代码中，list_for_each()用于遍历action_list中的每个节点，返回节点在列表中的位置信息，然后通过node_to_item()方法生成一个action的信息，最后运行func()函数。

action_for_each_trigger()方法在init.rc中是这样调用的：

action_for_each_trigger(early-init,action_add_queue_tail);

它的含义是。在action_list中查找名字为early-init的节点。并将其信息通过action_add_queue_tail()方法增加action_queue队列的尾部。

然后在init的无限循环中遍历action_queue中的每个节点。运行它们所包括的命令。

说到这里，我们了解了init怎样对待init.rc文件的内容。以下扩展一下知识，概要介绍一下Android系统中*.rc文件的keyword及其使用需求，例如以下表。

假设你想改动或编写自己的.rc文件，那么请关注下表。

keyword	类型	參数个数
capability	OPTION	0
chdir	COMMAND	1
chroot	COMMAND	1
class	OPTION	0
class_start	COMMAND	1
class_stop	COMMAND	1
class_reset	COMMAND	1
console	OPTION	0
critical	OPTION	0
disabled	OPTION	0
domainname	COMMAND	1
exec	COMMAND	1
export	COMMAND	2
group	OPTION	0
hostname	COMMAND	1
ifup	COMMAND	1
insmod	COMMAND	1
import	SECTION	1
keycodes	OPTION	0
mkdir	COMMAND	1
mount	COMMAND	3
on	SECTION	0
oneshot	OPTION	0
onrestart	OPTION	0
restart	COMMAND	1
rm	COMMAND	1
rmdir	COMMAND	1
service	SECTION	0
setenv	OPTION	2
setkey	COMMAND	0
setprop	COMMAND	2
setrlimit	COMMAND	3
socket	OPTION	0
start	COMMAND	1
stop	COMMAND	1
trigger	COMMAND	1
Symlink	COMMAND	1
sysclktz	COMMAND	1
user	OPTION	0
wait	COMMAND	1
write	COMMAND	2
copy	COMMAND	2
chown	COMMAND	2
chmod	COMMAND	2
loglevel	COMMAND	1
load_persist_props	COMMAND	0
ioprio	OPTION	0

2.创建system_service进程

在init进程的启动过程中。比較重要的部分由孵化进程启动system_service进程，以下具体介绍一下这个部分。system_service进程将会为我们创建一些重要的Android核心服务，包含ActivityManagerService,PackageManagerService和PowerManagerService等。这些将成为应用程序的基础。并为应用程序提供必要的接口。

①创建流程

完毕应用程序的初始化之后。init进程将创建一个名叫system_service的重要进程，而我们将在此进程中创建Android核心服务。下图显示了system_process进程以及核心服务的创建过程。

注解1：init进程会按顺序启动各种类型的服务（包含core和main）。首先启动core类型的服务。然后启动main类型的服务。因为孵化服务为main类型，所以它会在core类型的服务之后启动。因此，这里启动用于管理服务的服务——servicemanager。

启动和入口例如以下所看到的。

?启动：service zygote /system/bin/app_process -Xzygote /system/bin --zygote--start-system-server

?入口：/frameworks/base/cmds/app_process/app_main.cpp的main()函数。

注解2：此时转向/frameworks/base/core/jni/AndroidRuntime.cpp的start()函数。

注解3：启动代码例如以下：

jmethodId startMeth=env->GetStaticMethodID(startClass,"main",....);

env->CallStaticVoidMethod(startClass,startMeth,strArray);

此时转向com.android.internal.os.ZygoteInit的main()方法运行。

注解4：

?载入frameworks下的preloaded-classes类。

?载入framework-res.apk下的资源。

注解5：孵化进程的主要目的就是孵化出system_process进程，这个时候流程将转向/frameworks/base/services/java/com/android/server/SystemServer.java的main()方法运行，而自身进入死循环成为守护进程。

注解6：init1()调用本地android_server_SystemServer_init1(/frameworks/base/services/jni/com_android_server_SystemServer.cpp)后，通过libAndroid_servers.So的system_init()函数启动两个服务并启动init2()、

注解7：这里启动并注冊剩余的必需服务（比方包服务和Activity服务等）。终于会启动Launcher来到桌面，至此整个启动过程完毕。

②system_service简单介绍

system_service进程很重要，它创建了很多重要的服务，那么怎样增加system_service中并接受管理呢？详细如以下的代码所看到的：

try{

Slog.i(TAG,"Backup Service");

ServiceManager.addService(Context.BACKUP_SERVICE,new BackupManagerService(context));

}catch(Throwable e){

Slog.e(TAG,"Failure starting Backup Service",e);

}

以上代码展示了system_process怎样将备份服务增加服务管理器中的。当中粗体部分的代码完毕了两件事情：第一，创建备份服务。第二，使用ServiceManager的addService()方法将创建出来的备份服务实例增加服务管理器中加以管理。

下表列出了system_service的服务keyword等知识。

服务keyword	类	备注
entropy	EntropyService	熵服务
power	PowerManagerService	电源管理服务（Context.POWER_SERVICE）
activity	ActivityManagerService	Activity管理服务
telephony.registry	TelephonyRegistry	电话服务
package	PackageManagerService	包管理服务
account	AccountManagerService	账户管理服务（Context.ACCOUT_SERVICE）
battery	BatteryService	电池服务
vibrator	VibratorService	振动服务
alarm	AlarmManagerService	报警服务（Context.ALARM_SERVICE）
window	WindowManagerService	窗体服务(Context.WINDOW_SERVICE)
bluetooth	BluetoothService	蓝牙服务（BluetoothAdapter.BLUETOOTH_SERVICE）
statusbar	StatusBarManagerService	状态栏服务（Context.STATUS_BAR_SERVICE）
input_method	InputMethodManagerService	输入法管理服务（Context.INPUT_METHOD_SERVICE）
location	LocationManagerService	位置管理服务（Context.LOCATION_SERVICE）
wallpaper	WallpaperManagerService	壁纸管理服务（Context.WALLPAPER_SERVICE）
audio	AudioService	声音服务（Context.AUDIO_SERVICE）
user	UserManagerService	用户管理服务（Context.USER_SERVICE）

以下以获取声音服务为例介绍获取服务的方法：

AudioService as=(AudioService)context.getSystemService(Context.AUDIO_SERVICE);

此时整个系统也就完毕了启动工作，这也意味着我们能够開始使用Android设备了。