故障公告10:30-10:45 左右 docker swarm 集群节点问题引发故障

Posted 2021-01-03 cmt

非常抱歉，今天 10:30-10:45 左右由于 docker swarm 集群节点出现问题，造成除博客之外的站点出现访问异常，由此给您带来很大的麻烦，请您谅解。

故障开始时出现有时访问正常有时访问出现 502 或 500 ，当时我们就判断是某个节点出现问题，但无法直接定位出哪个节点，只能依次将一个个节点下线-上线。但是，不走运的是出现问题的节点恰恰是我们最后下线的一个节点。所以，在下线正常节点的过程中，更多的容器被迁移到了问题节点，结果造成更大范围的故障，直到我们下线问题节点，才恢复正常。

自从我们今年 4 月优化了 docker swarm 集群的部署后（详见 优化自建 docker swarm 集群的部署），这是第一次出现这么大的故障。我们会对这次故障进行进一步的分析，采取进一步的措施减少引发节点出现不稳定的因素，并尽可能减少单个节点的不稳定带来的影响。