falcon 数据丢失处理方法参考

Posted 2022-09-22 jonnyan

背景:使用 netstat -ano | grep ESTABLISH | grep 11883 监控 send_Q 和 recv_Q 的值,由于单次推送数据量在1w条以上,导致falcon-agent处理不过来,造成数据丢失,图形断点.

1,为什么 falcon 图形会断点?

有如下两条原因:

• tcp 连接断开，导致当前监控点无数值。
• 数据丢失，空白点位时间段数据未上传。

2,验证数据丢失

• 机器上找一个长连接进行监控，并用脚本打点到日志文件，与 falcon 图形比对丢失点连接是否存在。经过实际验证，发现数据确实是 丢失 。
  
• test.sh
  
• 结果:
  

3,为什么数据会丢失？

• 因为我们的连接数在 5k~1w 之间，
  
• 每分钟取值，并打两个指标上去，
  

• 也就是每分钟我们会推送 1w~2w 条数据到 falcon，

• 单线程执行总花费时间 37s 左右，

• 多线程执行总花费时间为 0s

一开始我们怀疑是单线程执行慢的原因，担心数据未完成插入，被丢弃，所以采用了拉长推送时间，改为每2/3/5分钟尝试，结果都是失败。

后来尝试改为多线程，但是问题依旧，后来经过讨论以及请教其它同事，怀疑是不是因为短时间内推送数据过多（根据同事提供历史单次推送在2000条，没有数据丢失问题），导致 falcon-agent 处理不过来，所以丢弃了部分数据。

于是在原基础上，对数据推送进行切割，分批次推送（500/List）+ 延时（20ms，避免多进程执行过快），控制数据推送总花费时间在 15s 以内，完美解决了此次数据丢失问题。

总结

原因： 短时间内推送数据量过大

解决办法： 分批次推送数据 + 延时

补充知识:

1??send_Q与recv_Q代表什么?

https://stackoverflow.com/questions/36466744/use-of-recv-q-and-send-q?noredirect=1&lq=1
https://milestone-of-se.nesuke.com/sv-basic/linux-basic/ss-netstat/

2??什么是tcp三次握手?

https://github.com/jawil/blog/issues/14