分布式系统的进程组织

Posted 2022-04-20 白水baishui

文章目录

• • • 1. 进程和线程
    • 2. 非分布式系统中的线程
    • • 2.1. 最佳线程池大小
    • 3. 分布式系统中的线程

1. 进程和线程

进程在分布式系统中形成一个构建块，由操作系统维护，对用户来说，它是不可见的（透明）。

一个进程中允许有多个控制线程：

进程上下文	线程上下文
地址空间列表	优先级和执行状态
通信接口	处理器寄存器
信号量，以及其他同步对象	软件中断处理信息
线程标识符列表	执行环境标识符

进程的缺点：

• 在单线程进程中，每当阻塞I/O 系统调用被执行时，整个进程都会被阻塞；
• 创建进程和进程上下文切换的成本很高。

2. 非分布式系统中的线程

在非分布式系统（单机）中线程是如何作用的呢？我们举一个例子：若现在有一请求，需要处理2ms，需要IO 8ms，则每秒钟能处理请求数为：

1. 单线程进程
   $$1000/(2+8)=100个$$
2. 两线程进程
   按流水线执行$$(1000-2)/8=125个$$
3. 命中cache的两线程进程
   假设cache有75%的命中率，命中后IO时间减短为0.5ms$$(1000-2)/8\ast 0.25+(1000)/2\ast 0.75=406个$$
4. 二核的命中cache的两线程进程
   $$444个$$

2.1. 最佳线程池大小

线程池技术相比于实时创建线程而言，它节省了线程创建的开销，但又带来了线程池的维护(并发控制、线程上下文切换)的开销。要发挥出线程池的最大作用，就要选取一个合适的线程池大小：$$总收益=线程创建开销－线程管理开销$$当总收益达到最大值时的线程数为最佳线程数。

为了找出最佳线程池大小，我们首先目前如下概念：

• 线程的创建开销
  创建一个线程的开销主要体现在内存分配的时间上，若一个线程的创建开销是 $c_1$，那么创建 $n$ 个线程的开销为 $c_1\times n$;
• 线程池维护开销
  线程池中线程的维护开销主要体现在线程的上下文切换所需的时间上。若一次线程上下文切换开销为 $x$，那么 $n$ 个线程的线程池切换开销就为 $n\times x$；若维护1个线程的线程池开销为 $c_2$，那么 $n$ 个线程的线程池维护开销为 $c_2\times n\approx x\times n$；
• 并发的请求数目
  实际系统中，每一时刻并发的请求数目 $r$ 是一个随机的值，设 $f(r)$为 $r$ 的概率分布函数；

那么可以分析得到线程池的收益情况：

	线程池的开销	无线程池时的开销	线程池的收益
$0⩽r⩽n$	$c_2\times n$	$c_1\times n$	$c_1\times r-c_2\times n$
$n⩽r$	$c_2\times n+c_1\times (r-n)$	$c_1\times n$	$c_1\times n-c_2\times n$

那么线程池预期收益为：$$E(n)=\sum _{r=0}^n(c_1\cdot r-c_2\cdot n)\cdot f(r)-\sum _{r=n+1}^{\infty }(c_1\cdot n-c_2\cdot n)\cdot f(r)$$将其连续化，得：$$E(n)={\int }_0^n(c_1\cdot r-c_2\cdot n)\cdot f(r)\text{d}r-{\int }_{n+1}^{\infty }(c_1\cdot n-c_2\cdot n)\cdot f(r)\text{d}r$$导数为零即为极值点，即：$$\frac{\text{d}E}{\text{d}n}=-c_2+c_1\cdot {\int }_n^{\infty }p(r)\text{d}r=0$$

令 $\zeta =c_2/c_1$，且 $n^{\ast }$ 为 $E(n)$ 取得最大值时的 $n$ 值，那么有： ∫ 0 ⌊ n ∗ ⌋ p ( r ) d r ⩽ 1 − ζ < ∫ 0 ⌊ n ∗ + 1 ⌋ p ( r ) d r \\int_0^\\lfloor n^* \\rfloorp(r)\\textdr \\leqslant 1-\\zeta <\\int_0^\\lfloor n^*+1 \\rfloor p(r)\\textdr ∫0以上是关于分布式系统的进程组织的主要内容，如果未能解决你的问题，请参考以下文章

电脑的启动进程数目基本上有多少个？能把进程数列出来吗？

NLP 语料分类不均衡/数据倾斜/data skew

Pcb的组织方式优缺点

R语言极值理论EVT：基于GPD模型的火灾损失分布分析

R语言极值理论EVT：基于GPD模型的火灾损失分布分析

CEPH环境搭建