现代信号处理01 -概率论与随机过程回顾

Posted Ciaran-byte

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了现代信号处理01 -概率论与随机过程回顾相关的知识,希望对你有一定的参考价值。

概率论与随机过程回顾

文章目录

1. 统计模型的相关概念

1.1 统计实验(不确定性)

  我们认同不确定性的存在,是人类对自身无知的妥协 – 爱因斯坦

  重复进行随机实验

1.2 样本点

  是统计实验可能出现的所有结果

1.3 样本空间Ω

  所有样本点的集合

1.4 概率

  样本空间可以赋予的一些数值,是样本点在统计实验中出现的可能性的大小。

1.5.统计模型是先验的

   所有这一切都是先验的,也就是在使用概率论工具之前,他们就是存在的

2. 概率和统计的差异

2.1 联系

  共用了同一套符号,而对于处理思路,解决的问题等完全是风马牛不相及

2.2 差异

2.3.1 概率和统计问题的三要素

2.3.1.1 model-模型

  统计模型:统计模型包括了1中的所有内容,模型包括的问题如

  • 样本空间是什么
  • 样本点的概率是什么
2.3.1.2 data-数据

  数据是上帝造的,模型是人造的,二者有层级关系

  从数据得出模型的过程就是统计

2.3.1.3 decision-决策

  有了模型之后,可用模型来推断、预测、判别。

  使用模型做出决策的过程,叫概率。

  因此使用概率的时候,模型是已知的,因此是先验的

2.3.2 关系图

3. 样本空间的重要性

3.1 贝朗特悖论

  样本空间选择的正确性对于概率统计来说是非常重要的,比如我们以bertrand paradox(贝特朗悖论)来进行说明

  贝朗特悖论描述的是,给定了一个圆,里面有一个内接正三角形,在圆里面随机取一条弦,弦的长度比内接三角形变长长的概率是多少

3.1.1 解法一

  如果我们固定一个端点去找另外一个端点

  假设从A点出发去寻找另外一点端点,显然当另外一个端点在橙色标记圆弧段的时候成立,概率是

1 3 \\frac{1}{3} 31

3.1.2 解法二

  我们也可以固定弦中点去选,假设点A是弦的中点,当弦A在三角形内切圆内的时候,显然经过中点A的弦会比正三角形边长长,这个概率等于内切圆和外接圆的面积比,也就是
1 4 \\frac{1}{4} 41

3.1.3 解法三

  还是固定弦中点,这次比较的对象是半径,如果弦中点在半径的靠近圆心的一半,显然得到的弦长比三角形半径长。因此概率是

1 2 \\frac{1}{2} 21

3.2 结论

  上面的所有结果都是对的,因为选点的基础是不一样的。也就是样本空间的选取不同。因此所有的决策都是基于模型在研究问题,模型不同得到的决策不同是很正常的事情,因为概率本来就是在模型的基础上去做的决策。

4.概率相关的概念

4.1 随机变量

  随机变量一点随机性都没有,是从样本空间映射到实数轴的一个确定性的函数。

  随机变量起到了样本空间量化的作用,把样本空间变成数。因为只有把问题变成了数,才能用数学工具进行处理。比如硬币正面朝上*硬币反面朝上是没有意义的

4.2 分布

   P(Z=x)的含义是,概率只能定义在样本空间的样本点上。

P ( Z = x ) = P ( w ∈ Ω ∣ Z ( w ) = x ) P(Z=x)=P({w\\in\\Omega|Z(w)=x}) P(Z=x)=P(wΩZ(w)=x)

  只有样本点在统计实验中是不确定的,从样本点之后的所有问题都不是随机的。

  概率是模型的一部分,是一个先验结果。

  概率的另外一个名字就是分布。分布对应的是随机变量,概率对应的是样本点,他们表达的都是同一个模型。不同的随机变量,不同的分布就代表了不同的统计实验和不同的可能性的大小。

4.3 连续与离散

  如果随机变量是离散的,意味着样本空间是可数的。可数就是与自然数的真子集一一对应。

w 1 , w 2 , w 3.... {w1,w2,w3....} w1,w2,w3....

   如果随机变量是连续的,意味着样本空间就是实数轴

  集合只有两种状态,要么可数,要么连续。

4.4 概率密度

4.4.1 概率的累加性

  概率的特性中,最重要的就是可加性。

  概率最重要的特性就是可加性。不确定性是可以加起来的。

  比如对于离散的情况,事件A发生的概率就是其子集Xk发生概率的求和

P ( A ) = ∑ x k ∈ A P ( Z = X k ) P(A)=\\sum_{x_k\\in A}P(Z=X_k) P(A)=xkAP(Z=Xk)

  而对于连续的情况,实际上就是累加符号变成了积分符号

P ( A ) = ∫ A f Z ( x ) d x P(A) = \\int_A f_Z(x)dx P(A)=AfZ(x)dx

  其中这个f(x)函数可以与概率进行相关联,这个函数叫做概率密度。

4.4.2 概率与概率密度的区别

  连续分布函数的概率密度与离散的样本点的概率并不是一回事。原因在于,如果是连续的随机变量,某一点概率的取值一定是0。

f z ( x ) = P ( Z = x ) = 0 f_{z}(x) \\cancel{=} P(Z=x)=0 fz(x)= P(Z=x)=0

4.4.3 概率与概率密度的联系

  概率密度与概率的关联在于,连续函数某一点的概率,近似等于某一点上一段的概率。这一段的概率,根据概率的定义,就是一个微积分。这个微积分又可以近似为f(x)*△x。一般来说,问题进行近似化研究会不严禁,但是离散和连续问题之间天然存在这样一个鸿沟。

P ( Z = x ) ≈ P ( x < Z < x + Δ x ) = ∫ x x + Δ x f z ( s ) d s ≈ f z ( x ) ∗ Δ x P(Z=x) \\approx P(x<Z<x+\\Delta x) \\\\ = \\int_x^{x+\\Delta x} f_z(s)ds \\\\ \\approx f_z(x)*\\Delta x P(Z=x)P(x<Z<x+Δx)=xx+Δxfz(s)dsfz(x)Δx

  密度和概率都是模型的一部分。

  密度的原函数叫做分布函数

F Z ( x ) = ∫ f Z ( s ) d s F_Z(x) = \\int f_Z(s)ds FZ(x)=fZ(s)ds

5.几种典型的分布

5.1 离散的分布

5.1.1 伯努利模型(两点分布) Bernoalli

Z ∼ { x 1 x 2 P 1 − P } ( 0 ≤ P ≤ 1 ) Z \\sim\\begin{Bmatrix} x_1 & x_2 \\\\ P & 1-P \\end{Bmatrix} \\quad (0\\leq P \\leq 1) Z{x1Px21P}(0P1)

5.1.2 射击模型(二项分布) Binormal

  二项分布就是做了n次伯努利实验以后的分布

  问题描述:一共打了n枪,每一枪的概率都是p,打中k枪的概率是多少

Z ∼ B ( n , p ) P ( Z = k ) = { n k } ∗ P k ∗ ( 1 − P ) n − k Z \\sim B(n,p) \\\\ P(Z=k)=\\begin{Bmatrix} n \\\\ k \\end{Bmatrix}*P^k*(1-P)^{n-k} ZB(n,p)P(Z=k)={nk}Pk(1P)nk

5.1.3 泊松分布 Poisson

5.1.3.1 泊松分布与二项分布的关系

P ( Z = k ) = λ k k ! e x p ( − λ ) k = 0 , 1 , 2... P(Z=k)= \\frac{\\lambda^k}{k!}exp(-\\lambda) \\quad\\quad k=0,1,2... P(Z=k)=k!λkexp(λ)k=0,1,2...

   泊松分布其实与二项分布是一脉相承的。

  我们让二项分布的P趋近于0,也就是射中率接近0,为了补偿,让实验次数n趋近于无穷大。同时让np是个常数

P ( Z = k ) = { n k } ∗ P k ∗ ( 1 − P ) n − k P → 0 , n → ∞ , n ∗ P = λ P(Z=k)=\\begin{Bmatrix} n \\\\ k \\end{Bmatrix}*P^k*(1-P)^{n-k} \\quad\\quad P\\rightarrow 0,n\\rightarrow \\infty,n*P = \\lambda P(Z=k)={nk}Pk(1P)nkP0,n,nP=λ

5.1.3.2 公式推导

  先把公式拆分为四个部分
{ n k } ∗ P k ∗ ( 1 − P ) n − k = n ! k ! ∗ ( n − k )

以上是关于现代信号处理01 -概率论与随机过程回顾的主要内容,如果未能解决你的问题,请参考以下文章

2017012.01-构建之法:现代软件工程-阅读笔记4

现代软件工程_第01周_纪梓潼_第06题

现代软件工程_第01周_纪梓潼_第02题

现代软件工程_团队项目_贝塔阶段_转载10个免费的顶级跨浏览器测试工具_2018.01.15-2018.01.19

现代控制理论基础一线性系统的状态空间描述

现代控制理论基础一线性系统的状态空间描述