gossip协议介绍

Posted OshynSong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了gossip协议介绍相关的知识,希望对你有一定的参考价值。

背景

gossip 协议(gossip protocol)又称 epidemic 协议(epidemic protocol),是基于流行病传播方式的节点或者进程之间信息交换的协议,在分布式系统中被广泛使用,比如我们可以使用 gossip 协议来确保网络中所有节点的数据一样。

Gossip protocol 最早是在 1987 年发表在 ACM 上的论文 《Epidemic Algorithms for Replicated Database Maintenance》中被提出。主要用在分布式数据库系统中各个副本节点同步数据之用,这种场景的一个最大特点就是组成的网络的节点都是对等节点,是非结构化网络,这区别于用于结构化网络中的 DHT 算法 Kadmelia。很多知名的 P2P 网络或区块链项目,比如 IPFS,Ethereum 等,都使用了 Kadmelia 算法,而大名鼎鼎的 Bitcoin 则是使用了 Gossip 协议来传播交易和区块信息。实际上,Ethereum 使用 DHT 算法并不是很合理,因为它使用节点保存整个链数据,不像 IPFS 那样分片保存数据,因此 Ethereum 真正适合的协议应该像 Bitcoin 那样,是 Gossip 协议。

从 gossip 单词就可以看到,其中文意思是八卦、流言等意思,我们可以想象下绯闻的传播(或者流行病的传播);gossip 协议的工作原理就类似于这个。gossip 协议利用一种随机的方式将信息传播到整个网络中,并在一定时间内使得系统内的所有节点数据一致。Gossip 其实是一种去中心化思路的分布式协议,解决状态在集群中的传播和状态一致性的保证两个问题。

优势

可扩展性(Scalable)

gossip 协议是可扩展的,一般需要 O(logN) 轮就可以将信息传播到所有的节点,其中 N 代表节点的个数。每个节点仅发送固定数量的消息,并且与网络中节点数目无法。在数据传送的时候,节点并不会等待消息的 ack,所以消息传送失败也没有关系,因为可以通过其他节点将消息传递给之前传送失败的节点。系统可以轻松扩展到数百万个进程。

容错(Fault-tolerance)

网络中任何节点的重启或者宕机都不会影响 gossip 协议的运行。

健壮性(Robust)

gossip 协议是去中心化的协议,所以集群中的所有节点都是对等的,没有特殊的节点,所以任何节点出现问题都不会阻止其他节点继续发送消息。任何节点都可以随时加入或离开,而不会影响系统的整体服务质量(QOS)

最终一致性(Convergent consistency)

Gossip 协议实现信息指数级的快速传播,因此在有新信息需要传播时,消息可以快速地发送到全局节点,在有限的时间内能够做到所有节点都拥有最新的数据。

简单(Simplicity)

Gossip 协议实现过程简单,没有太多复杂性。

劣势

分布式网络中,没有一种完美的解决方案,Gossip 协议跟其他协议一样,也有一些不可避免的缺陷,主要是两个:

1)消息的延迟

由于 Gossip 协议中,节点只会随机向少数几个节点发送消息,消息最终是通过多个轮次的散播而到达全网的,因此使用 Gossip 协议会造成不可避免的消息延迟。不适合用在对实时性要求较高的场景下。

2)消息冗余

Gossip 协议规定,节点会定期随机选择周围节点发送消息,而收到消息的节点也会重复该步骤,因此就不可避免的存在消息重复发送给同一节点的情况,造成了消息的冗余,同时也增加了收到消息的节点的处理压力。而且,由于是定期发送,因此,即使收到了消息的节点还会反复收到重复消息,加重了消息的冗余。

协议类型

gossip 协议的类型。目前主要有两种方法:

  • Anti-Entropy(反熵):以固定的概率传播所有的数据
  • Rumor-Mongering(谣言传播):仅传播新到达的数据

Anti-Entropy

Anti-Entropy 的主要工作方式是:每个节点周期性地随机选择其他节点,然后通过互相交换自己的所有数据来消除两者之间的差异。Anti-Entropy 这种方法非常可靠,但是每次节点两两交换自己的所有数据会带来非常大的通信负担,以此不会频繁使用。

Anti-Entropy 使用“simple epidemics”的方式,所以其包含两种状态:susceptible 和 infective,这种模型也称为 SI model。处于 infective 状态的节点代表其有数据更新,并且会将这个数据分享给其他节点;处于 susceptible 状态的节点代表其并没有收到来自其他节点的更新。

Rumor-Mongering

Rumor-Mongering 的主要工作方式是:当一个节点有了新的信息后,这个节点变成活跃状态,并周期性地联系其他节点向其发送新信息。直到所有的节点都知道该新信息。因为节点之间只是交换新信息,所有大大减少了通信的负担。

Rumor-Mongering 使用“complex epidemics”方法,相比 Anti-Entropy 多了一种状态:removed,这种模型也称为 SIR model。处于 removed 状态的节点说明其已经接收到来自其他节点的更新,但是其并不会将这个更新分享给其他节点。因为 Rumor 消息会在某个时间标记为 removed,然后不会发送给其他节点,所以 Rumor-Mongering 类型的 gossip 协议有极小概率使得更新不会达到所有节点。一般来说,为了在通信代价和可靠性之间取得折中,需要将这两种方法结合使用。

通信方式

不管是 Anti-Entropy 还是 Rumor-Mongering 都涉及到节点间的数据交互方式,节点间的交互方式主要有三种:Push、Pull 以及 Push&Pull。

  • Push:发起信息交换的节点 A 随机选择联系节点 B,并向其发送自己的信息(key,value,version),节点 B 在收到信息后更新比自己新的数据,一般拥有新信息的节点才会作为发起节点。
  • Pull:发起信息交换的节点 A 随机选择联系节点 B,发送自己的(key,version) 信息给B,B将比A新的信息(key,value,version) 发送给A,A更新本地数据。一般无新信息的节点才会作为发起节点。
  • Push&Pull:在Push和Pull的基础上,A再将比B新的信息(key,value,version)发送给B,B收到后更新本地数据,从而分别从对方获取数据,并更新自己的本地数据。

如果把两个节点数据同步一次定义为一个周期,则在一个周期内,Push 需通信 1 次,Pull 需 2 次,Push/Pull 则需 3 次。虽然消息数增加了,但从效果上来讲,Push/Pull 最好,理论上一个周期内可以使两个节点完全一致。直观上,Push/Pull 的收敛速度也是最快的。

收敛分析

流行病传染最基本的模型仅作如下几个假设:

  1. (n+1)个人均匀的分布在一起
  2. 每一对人群之间的传染概率是β,显然0<β<1.
  3. 任意时刻,某个人要么处于infected的状态要么处于uninfected的状态.
  4. 一旦某个人从uninfected状态转变成为infected状态,其一直停留在infected状态。

有了以上假设,我们可以进一步分析流行病的传染情况。我们记t时刻处于infected状态的人数为yt,处于uninfected状态的人为xt,那么初始状态 y0=1, x0=n,并且在任何时候xt+yt=n+1.

考虑连续的时间,可知:

dxdt=−βxy

解的:

x=n(n+1)n+eβ(n+1)ty=n+11+ne−β(n+1)t

明显,当t→∞时,x→0,y→(n+1),即经过足够的时间,所有的人都将被传染。

上述流行病传染模型为分析Gossip的性能提供了基础。在Gossip性能中,可以认为: β=b/n(因为对每个节点而言,被其他节点选中的概率就是b/n)。我们令t=clog(n),可以得到:

y≈(n+1)−1ncb−2

这表明,仅需要O(log(n))个回合,gossip协议即可将信息传递到所有的节点。 根据分析可得,Gossip协议具有以下的特点:

  1. 低延迟。仅仅需要O(log(n))个回合的传递时间。
  2. 非常可靠。仅有1ncb−2个节点不会收到信息。
  3. 轻量级。每个节点传送了cblog(n)次信息。

于此同时,Gossip协议的容错性比较高,例如,50的丢包率等价于使用b/2带代替b进行分析;50的节点错误等价于使用n/2来代替n,同时使用b/2来代替b进行分析,其分析结果不用带来数量级上的变化。

应用

gossip 协议可以支持以下需求:

  • Database replication
  • 消息传播
  • Cluster membership
  • Failure 检测
  • Overlay Networks
  • Aggregations (比如计算平均值、最大值以及总和)

以上是关于gossip协议介绍的主要内容,如果未能解决你的问题,请参考以下文章

分布式架构——Gossip 协议详解

Raft算法和Gossip协议

Raft算法和Gossip协议

Serf:Gossip Protocol

分布式基础通信协议:paxos,totem和gossip

分布式共识算法——Gossip协议(图解)