「Bug」Linux 负载过高（K8s 节点）

Posted 2021-03-02 於清樂的碎碎念

Bug 描述

K8s Worker 节点负载突然升高至 90+，导致节点 NotReady.
该节点为 8c/10G 的配置，这个负载显然不正常。

排查

首先用 htop，发现 cpu/memory 使用率都不高，怀疑是磁盘 IO 问题。

查看 prometheus 监控：

发现是首先内存飙升致 100%，然后磁盘 IO 升高。

排查节点上的所有 Pod，发现新加了一个 Prometheus 容器，最后确定是另一个监控工具自动部署的。