记一次生产kafka消息消费的事故

Posted 2022-01-04 cocoxu1992

事故背景：

　　我们公司与合作方公司有个消息同步的需求，合作方是消息生产者，我们是消息消费者，他们通过kafka给我们推送消息，我们实时接收，然后进行后续业务处理。昨天上午，发现他们推送过来的广场门店信息我们都没有消费，导致我们系统和他们系统数据不一致，从而导致无法提单，无法出报表（报表有误）等各种问题

排查过程：

（1）因为coco身体不适，上午请假去医院了，所以这个问题就转给我们team的专门运维的同事了，电话大概给他说明了代码路径，可惜，半天下来仍然无果，看着微信群里他发的消息，我有点抓狂，根本没有找到点上，半天了没查出原因，我们业务端也顶着压力，一个劲儿地给我打电话。

（2）中午12：30点，coco回到公司，立马开电脑开始排查，让他们重新推送消息，查看日志，发现我们根本没有消费到。初步判断，应该不是我们客户端的问题，初步定位原因：a.网络问题；b.网络丢包；c.生产者生产机制有问题，实际没有推送过来。

（3）因为之前一直是好好的，近期这个需求也没有做过任何改动，网络也是通的，感觉可能不是网络的问题，但是也要排查，因为这个已经是去年年初的需求了，原熟悉这块业务的人早已离职，所以排查起来有点慢。我们公司在合作公司面前又没多大话语权，每次有问题都是直接甩锅给我们，每次排查出来都是他们的问题。这次，我让他们先排查自身问题，他们依然说，不是他们的原因等等。

（4）网络排查：根据代码，查出我们连接生产者zookeeper的集群地址。然后我找到我们应用所在主机IP。ping了下是通的。但是telnet端口的时候明显就不通了，很明显的网络问题啊。截图给对方，他们依然不认，说自己测试都是ok的，coco此时心里真的是一万个mmp啊，然而，脸上还要笑嘻嘻……为啥之前一直通的，突然就有问题了呢，让对方研发问他们那边最近有没有做过网络调整，那哥们直接说没有……涉及公司与公司间的网络权限，肯定要走流程去申请啦。我就去找我们这边网络组的老大，把事故简要地说明了下，他说，合作方公司前几天有下线过一批主机呀，我联系他们，包不包含这几台，此刻，我的心里大石头终于放下了，找对人了。

ping的结果：

telnet的结果：

（5）后来，在这个leader、我们项目经理的协调下，找了对方公司的网管，确认是他们近期做了网络调整导致的。然后，对方公司对接人去提了网络申请，该问题算是初步得到了解决，下午2:40左右，网络给打开了，把这几天的存量数据又重新推送了一次。

结论：

对于生产正在用的接口，一直好好的，突然出问题，如果是全量问题，首先要排查网络问题，如果是部分数据有问题，则要考虑是否是网络丢包，是否是消息丢失。

复盘：

其实，这个问题真的从根源上解决了吗？并没有，根据生产日志，查询得知，自6.5日开始，就没有消费过消息了，说明6.5号就有问题了啊。我们系统也没有报异常，没有通知到负责人，为什么消费者连不上生产者zookeeper主机的时候，仍不报异常呢，这个coco还在排查。

 

  ConsumerConfig conf = new ConsumerConfig(props);
  //连不通但是没有报异常        
  ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector(conf);

 

 代码：