记一次线上商城系统 TomcatJVM 高并发的优化
Posted code小生
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了记一次线上商城系统 TomcatJVM 高并发的优化相关的知识,希望对你有一定的参考价值。
来源:https://urlify.cn/jyYny2
对于线上系统调优,它本身是个技术活,不仅需要很强的技术实战能力,很强的问题定位,问题识别,问题排查能力,还需要很丰富的调优能力。
本篇文章从实战角度,从问题识别,问题定位,问题分析,提出解决方案,实施解决方案,监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。
该项目为基于SSM架构的商城类单体架构项目,其中有一个秒杀重磅模块,如下为当前线上环境的简要架构部署图,大致描述一下:
(2)服务器类别:1台负载均衡服务器(F5),3台运用程序服务器,1台计时器服务器,1台redis服务器,1台图片服服务器和1台基于Pass架构的mysql主从服务器(微软云)
3.SOA架构:可理解为按服务类别,业务流量,服务间依赖关系等服务化的架构,如以前的单体架构ERP项目,划分为订单服务,采购服务,物料服务和销售服务等
4.微服务:可理解为一个个小型的项目,如之前的ERP大型项目,划分为订单服务(订单项目),采购服务(采购项目),物料服务(物料项目)和销售服务(销售项目),以及服务之间调用
该系统每天秒杀分为三个时间端:10点,13点和20点,如下为秒杀的简要页面
(2)文件图片服务器:排查内存,cpu,请求数等;
(4)redis服务器:排查内存,cpu,连接数等;
1.运用程序服务器cpu暴增,内存暴增,造成cpu和内存暴增的根本原因是请求数过高,单台运用服务器达到3000多;
4.通过gc查看,发现24小时内,FullGC发生了152次
jstat -l pid,也可以通过VisualVM分析
(1)在秒杀时,请求量过高,导致运用服务器负载过高;
(2)redis连接池满,获取不到连接,connot get a connection from thread pool
(4)存在大对象代码,如向list集合中不停添加对象,不能及时回收对象导致内存增加,频繁发生Full GC
(5)tomcat并发参数,jvm优化参数,jedis配置参数,jdbc配置参数不合理
(7)资源连接未及时释放,如redis连接,jdbc连接未及时释放
由于该项目未增加MQ,因此只能采用硬负载,增加服务器水平扩展方式来实现流量削峰和流量分流
JAVA_OPTS="-server -Xmx9g -Xms9g -Xmn3g -Xss500k -XX:+DisableExplicitGC -XX:MetaspaceSize=2048m -XX:MaxMetaspaceSize=2048m -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -Dfile.encoding=UTF8 -Duser.timezone=GMT+08"
关于这个jvm参数的优化,jvm理论是怎样的,官方建议是怎样的,实战是怎样的,将在下篇文章中分析。
(1)修改bio协议为nio2 (2)根据服务器配置,业务场景,业务流量等合理设置相关参数,尽量达到最优
关于tomcat相关参数优化,在接下来的文章中分析。
在conf/context.xml增大缓存
<Resource
cachingAllowed = "true"
cacheMaxSize = "102400"
/>
1.本篇文章从实战角度,从问题识别,问题定位,问题分析,提出解决方案,实施解决方案,监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程,当然,由于篇幅的限制,关注公众号 逆锋起笔,回复 pdf,下载你需要的各种学习资料。
2.虽然解决了该问题,但是从长远来看,该单体项目任然存在很大的问题和隐患,下面随便举几个:
(2)由于该系统秒杀业务属于非持续性并发,即局部性并发,当前并未做局部并发架构的调整
(3)由于该系统秒杀业务与该项目紧紧耦合在一起,未进行隔离,未独立成单独模块,未单独部署,从而存在因秒杀业务造成整个系统瘫痪的风险;
以上是关于记一次线上商城系统 TomcatJVM 高并发的优化的主要内容,如果未能解决你的问题,请参考以下文章
记一次线上事故
记一次线上事故
记一次线上Java程序导致服务器CPU占用率过高的问题排除过程
记一次线上机器CPU飙高的排查过程
记一次线上Java程序导致服务器CPU占用率过高的问题排除过程
记一次线上Java程序导致服务器CPU占用率过高的问题排除过程