falcon 数据丢失处理方法参考

Posted jonnyan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了falcon 数据丢失处理方法参考相关的知识,希望对你有一定的参考价值。

背景:使用 netstat -ano | grep ESTABLISH | grep 11883 监控 send_Q 和 recv_Q 的值,由于单次推送数据量在1w条以上,导致falcon-agent处理不过来,造成数据丢失,图形断点.

1,为什么 falcon 图形会断点?

有如下两条原因:

  • tcp 连接断开,导致当前监控点无数值。
  • 数据丢失,空白点位时间段数据未上传。

2,验证数据丢失

  • 机器上找一个长连接进行监控,并用脚本打点到日志文件,与 falcon 图形比对丢失点连接是否存在。经过实际验证,发现数据确实是 丢失 。
    技术图片
  • test.sh
    技术图片
  • 结果:
    技术图片

3,为什么数据会丢失?

  • 因为我们的连接数在 5k~1w 之间,
    技术图片
  • 每分钟取值,并打两个指标上去,
    技术图片
  • 也就是每分钟我们会推送 1w~2w 条数据到 falcon,

  • 单线程执行总花费时间 37s 左右,

  • 多线程执行总花费时间为 0s

一开始我们怀疑是单线程执行慢的原因,担心数据未完成插入,被丢弃,所以采用了拉长推送时间,改为每2/3/5分钟尝试,结果都是失败。

后来尝试改为多线程,但是问题依旧,后来经过讨论以及请教其它同事,怀疑是不是因为短时间内推送数据过多(根据同事提供历史单次推送在2000条,没有数据丢失问题),导致 falcon-agent 处理不过来,所以丢弃了部分数据。

于是在原基础上,对数据推送进行切割,分批次推送(500/List)+ 延时(20ms,避免多进程执行过快),控制数据推送总花费时间在 15s 以内,完美解决了此次数据丢失问题。
技术图片
技术图片
技术图片

总结

原因: 短时间内推送数据量过大

解决办法: 分批次推送数据 + 延时

补充知识:

1??send_Q与recv_Q代表什么?

https://stackoverflow.com/questions/36466744/use-of-recv-q-and-send-q?noredirect=1&lq=1
https://milestone-of-se.nesuke.com/sv-basic/linux-basic/ss-netstat/

2??什么是tcp三次握手?

https://github.com/jawil/blog/issues/14

以上是关于falcon 数据丢失处理方法参考的主要内容,如果未能解决你的问题,请参考以下文章

Printjs 打印样式丢失,字体无法更改的处理方法

Printjs 打印样式丢失,字体无法更改的处理方法

Printjs 打印样式丢失,字体无法更改的处理方法

Linux系统下常见的数据盘分区丢失的问题以及对应的处理方法

瀚高数据库集群切换后VIP丢失的处理方法

瀚高数据库集群切换后VIP丢失的处理方法