随机过程18 - 连续时间马氏链与排队论

Posted 2023-02-06 Ciaran-byte

连续时间马尔科夫链与排队论

文章目录

• 连续时间马尔科夫链与排队论
• • 1. 连续时间马氏链
  • • 1.1 概述
    • 1.2 停留时间的分布
    • 1.3 跳变概率
    • • 1.3.1 连续时间马氏链CK方程
      • 1.3.2 Q矩阵
      • 1.3.3 前进后退方程
    • 1.4 泊松过程与连续时间马氏链
    • 1.5 连续时间马氏链的极限分布
  • 2. M/M/1模型排队论
  • • 2.1 模型描述
    • 2.2 模型建立--生灭模型
    • 2.3 平均队长
    • 2.4 平均等待时间
    • 2.5 little's formula

1. 连续时间马氏链

$$\text{Continuous Time Markov Chains}$$

1.1 概述

  离散时间马尔科夫链是时间是离散的，状态也是离散的一种随机过程。而连续时间马氏链是时间是连续的，状态是离散的一种随机过程。我们可以重新定义转移概率，跟离散的定义是一样的

$$\begin{gathered} S=x_1,x_2,...,x_n,... \\ {P}_{ij}(s,t)=P(X(t)=j|X(s)=i) \\ \forall t,t_1,...,t_n\Rightarrow (X(t_1),...,X(t_n)) \\ P(X(t_n)=x_n|X(t_{n-1})=x_{n-1},...,X(t_1)=x_1)=P(X(t_n)=X_n|X(t_{n-1})=x_{n-1}) \end{gathered}$$

  同时，我们一般认为转移概率具有平稳性，因此转移概率就与具体时间没有关系了

$$P_{ij}(s,t)=P_{ij}(t-s)$$

  这个转移概率的含义是，从i出发，经过t-s时间后到达j的概率。t-s这段时间，一般来说是包括在i上等待的时间和从i到j转移的时间的。如果我们忽略从i到j的转移时间，也就是会立刻到达，t-s就是一个停留的时间。

  对于连续时间马氏链的转移概率，这个概率包括两部分，一部分是停留时间(在i上停留的时间)，一部分是跳变概率(从i到达要转移到哪里去)。

$$\begin{gathered} \text{Sojourn Time} \\ \text{Jump Probability} \end{gathered}$$

  相比于离散时间马氏链，连续时间马氏链多了一个停留时间的概念，我们先研究停留时间的规律，然后进而研究跳变规律。

1.2 停留时间的分布

  事实上，停留时间是服从指数分布的，因为指数分布是无记忆的。

  我们可以分析一下停留时间的分布。

$$\begin{gathered} T_{i}P(T_i>t)=P(X(s)=i,s\in [0,t]) \\ =P(X(s)=i,X(t)=i,s\in [0,t]) \\ =P(X(s^{\prime })=i,s^{\prime }\in [s,t]|X(s^{\prime \prime })=i,s^{\prime \prime }\in [0,s])P(X(s^{\prime \prime })=i,s^{\prime \prime }\in [0,s]) \\ =P(X(s^{\prime })=i,s^{\prime }\in [s,t]|X(s)=i)P(T_i>s) \\ =P(T_i>t-s)P(T_i>s) \end{gathered}$$

$$\begin{gathered} \text{Let }G(t)=P(T>t) \\ G(t)=G(s)G(t-s)\forall s\in [0,t] \end{gathered}$$

  这个形式的方程的唯一解就是指数

$$P(T>t)=G(t)=exp(-\lambda t)\Rightarrow T\sim exp(\lambda )$$

1.3 跳变概率

1.3.1 连续时间马氏链CK方程

  下面我们继续研究跳变概率。先从CK方程开始说起

$$\begin{gathered} \text{Chapman-Kolmogorow} \\ {P}_{ij}(s+t) \end{gathered}$$

随机过程14 - 离散时间马氏链与转移概率

随机过程14 - 离散时间马氏链与转移概率

随机过程14 - 离散时间马氏链与转移概率

排队论

排队论——随机时间概率