一个不好解决的双11性能问题
Posted 探索互联网
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一个不好解决的双11性能问题相关的知识，希望对你有一定的参考价值。
最近已经封网，但是发现了一个比较严重的性能问题，问题很诡异，具体发生经过是这样的
几个入口图在app首页访问量比较大的服务，他的tp99是基本不变的，tp999是缓慢升高变差的
最终升高到调用方超时，这是个特别诡异的问题，因为tp99是基本没有变化的，tp999却在每天
以50ms的方式缓慢升高。
通过查看网络tcp重传包、tcp丢包、线程数、内存、性能等多个参数问题都没有特别明显的
变化，开始以为是调用redis tp999单片高导致tp999升高。有同事提到是不是某个数据大导致
个别请求变大tp999升高，通过增加监控发现调用redis服务是有增高，但幅度不大，最终通过
加监控我突然想到前边一个因日志打印多次调用redis服务的性能问题就是这样解决的。
然后赶紧加多个监控取查看问题，加到第三个监控的时候，发现此接口tp999特别高，是调用
了abtest服务，abtest服务本身tp999并不高，但abtest的max 有高的值，当调用abtest服务的
访问量比较高时例如：每分钟7、8万次这时tp999这个碰到max值得几率就很大了。abtest经分析
是压力测试后导致内存释放没有那么及时或内存碎片过大导致max性能变差，通过重启abtest多个
应用tp999回落正常。
2016-10-31于北辰
以上是关于一个不好解决的双11性能问题的主要内容，如果未能解决你的问题，请参考以下文章