2020-07-31

Posted 2023-05-16

参考技术A

ABC：Approximate Bayesian computation

近似贝叶斯计算：指的是模拟不同参数下的数据，并将其与真实数据进行比较分析，直到与真实的数据最为接近，此时的参数就为最优值。贝叶斯统计公式：P(D/θ)=P(θ/D)*P(θ)/P(D) ，贝叶斯统计可以简单的理解为结果已知求不同原因下概率，从而解释导致如今结果最可能的原因；这需要计算似然函数P(θ/D)（为了防止先验概率为0，求解似然函数过程中引入拉普拉斯修正（例如取自然对数））、先验分布P(θ)以计算后验分布P(D/θ)；简单模型下的似然函数容易求解，但对于复杂的模型, 似然函数难以求出, 只能尝试用模拟产生出资料的方式, 反过来设法逼近似然函数的效果；ABC中的A指的就是对似然函数的趋近；

具体举例：如下假设已有一个似然函数未知且有参数t的模型M(t), 及观测到的资料集D_observed，从t的先验分布中抽出n个t参数, 并分别产生n个模型 M(t_k) : k from 1 to n, 由模型产生模拟(simulate)的资料, 记作 D(t_k): k from 1 to n接下来对对各个k, 比较模拟产生的资料集D(t_k)跟实际观测到的资料observed, 若是两者统计性质差太多的话, 则拒绝掉t_k, 反之则接受t_k，把所有被接受的参数t_k集合起来, 作为参数t的后验分布。

MCMC：Markov Chain Monte Carlo

马尔可夫链蒙特卡洛方法：在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法，该方法将马尔可夫过程融入到了蒙特卡洛模拟中，实现了抽样分布随着模拟的进行而改变的动态模拟，弥补了传统蒙特卡洛积分只能静态模拟的缺陷。

在统计学中，马尔可夫链蒙特卡罗（MCMC）算法旨在从给定的概率分布中生成样本。该方法名称中的“蒙特卡罗”部分是出于取样目的，而“马尔可夫链”部分来自获取这些样本的方式。为了得到样本，要建立一个马尔可夫链，从其平稳分布中获得样本。然后，可以从马尔可夫链中模拟随机的状态序列，该序列足够长，能够（几乎）达到稳态，再保留生成的一些状态作为样本。

在随机变量生成技术中，MCMC是一种相当高级的方法，可以从一个非常困难的概率分布中获得样本，这个概率分布可能仅由一个乘法常数定义。更出乎意料的是，可以用MCMC从一个未经标准化的分布中获得样本，这来自于定义马尔可夫链的特定方式，马尔可夫链对这些归一化因子并不敏感。

蒙特卡洛也称随机模拟法、随机抽样技术或统计实验法，其解题步骤为：1.建立一个与求解有关的概率模型或随机过程，使他的参数等于所求问题的解；2.然后通过对模型或过程的观察或者抽样试验来计算所求参数的统计特征；3.最后给出所求解的近似值。马尔可夫过程是以马尔可夫性质为基础建立的随机过程，是马尔可夫模型的一种，常见的马尔可夫模型还有马尔可夫链、隐马尔可夫模型(语音识别就用到了HMM)、马尔可夫决策过程、马尔可夫随机场；马尔可夫链的4个性质： 不可约性、常返性、周期性和遍历性 ；

不可约性（irreducibility）

如果一个马尔可夫链的状态空间仅有一个连通类，即状态空间的全体成员，则该马尔可夫链是不可约的，否则马尔可夫链具有可约性（reducibility)。马尔可夫链的不可约性意味着在其演变过程中，随机变量可以在任意状态间转移。

常返性（recurrence）

若马尔可夫链在到达一个状态后，在演变中能反复回到该状态，则该状态是常返状态，或该马尔可夫链具有（局部）常返性，反之则具有瞬变性（transience）的。正式地，对状态空间中的某个状态，马尔可夫链对一给定状态的返回时间（return time）是其所有可能返回时间的下确界（infimum)； Metropolis-Hasting和吉布斯采样算法都使用了马氏链的一个特殊性质：可逆性 。

参考资料：
Approximate Bayesian Computation
贝叶斯通俗易懂推导
贝叶斯估计和极大似然估计到底有何区别
贝叶斯统计观点下的拉普拉斯平滑
读懂贝叶斯推理问题：MCMC方法和变分推断

ICMP：Internet控制报文协议

ICMP：Internet控制报文协议。

 

是IP层的组成部分，传递差错报文或其他信息。

 

ICMP报文被封装在IP数据报内部：

 

详细格式例如以下所看到的：

 

个字段含义例如以下：

• 8位类型。表示该ICMP报文的含义。如目的不可达、超时、请求回显等。
• 8为代码。

   

  进一步描写叙述该ICMP报文。ICMP报文的类型由类型字段和代码字段共同决定。

• 16位检验和。和IP首部检验和的算法同样。

 

我们常常使用的ping程序就是基于ICMP报文进行的传输。pingclient发送一个ICMP回显请求报文，server收到此报文后返回一个ICMP回显应答报文作为应答。client和server都是在内核层发送和接受该报文的，而不是通过用户进程。

 

回显请求和回显应答报文格式例如以下：

 

类型0 + 代码0 = 回显应答

类型8 + 代码0 = 回显请求

 

ICMP回显请求和回显应答报文多出了几个特有的字段：

• 标识符。表示发送进程的ID号。
• 序号。

   

  从0開始，每发送一个新的回显请求就加1.

• 选项数据。实际载荷，比如保存发送时间。接收端用当前时间减去发送时间就能计算出往返时间。

   

   

以下是抓包的结果：

 

client一共向server发送了4个回显请求。TTL字段是在IP首部中的。因为ICMP属于IP层协议，而IP层又是不可靠、无连接、尽力而为式的传输，所以ping偶尔会出现传输出错的情况。

 

參考：

《TCP/IP具体解释》第6章、第7章。