orchestrator raft leader频繁变化问题

Posted lanyangsh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了orchestrator raft leader频繁变化问题相关的知识,希望对你有一定的参考价值。

最近在使用orchestrator的过程中,遭遇了严重的问题。
最初上线的几个月里,raft leader非常稳定。
但随着时间的推移,raft leader 频繁变化的问题就爆发了。

leader的变化,直接原因,就是leader没有按时发送heartbeat,从而触发了选举机制。

第一个怀疑的原因,就是网络抖动,出现丢包。但是,通过查看监控数据,发现没有丢包迹象。接着,通过tcpdump抓包,也证实没有数据丢失。

第二个怀疑的是,raft的代码实现有问题。查看github仓库,已经很长时间没有release了。翻看issue,找到2个相似的,但这些issue没有追查询下去,最后没有什么具体结论就关闭了。

第三个怀疑的是,系统负载和内存使用。
从监控数据看,16核机器,负载在1左右徘徊。16G内存,空闲率在30%-50%,偶尔某台机器低于10%。
从这些数据看,无法确切判定,就是机器资源耗尽导致的。

接着使用pprof查看goroutine、内存情况,并抓trace,发现snapshot操作出现大量堆积,多的时候有9000+goroutine。
在内存使用上,snapshot也是消耗最多的。
由于频繁申请大量内存,GC次数和耗时出现严重增加。
这样,就影响了goroutine的调度,尤其是对时间敏感的goroutine,例如hearbeat,导致其发送时间延后。

关于snapshot的为什么消耗内存,下次再具体介绍。








以上是关于orchestrator raft leader频繁变化问题的主要内容,如果未能解决你的问题,请参考以下文章

MySQL高可用工具Orchestrator raft模式部署

沃趣科技MySQL高可用工具Orchestrator系列五:raft多节点模式安装

沃趣科技MySQL高可用工具Orchestrator系列五:raft多节点模式安装

Raft之Leader选举

Raft论文

分布式选举-Raft算法-1 Leader选举 原理