java项目线上值班手册

Posted 2023-03-30 全栈高级工程师

注意：
1、外部依赖的紧急问题优先电话联系；
2、报备先本群报备，若紧急问题优先电话会议报备；

【应用清单】：
项目清单、标注【重点项目】

【中间件对接】：
DBA：XXX
Redis：XXX
统一配置：XXX
运维：XXX
MQ：XXX

【发现问题】：(6点~22点)
1、关注群里机器人、电话、系统消息报警；

2、定时巡检日志系统，重点观察有无error和warning异常；

3、定时巡检APM，重点观察内存、GC、CPU、RT等指标；

【定位&解决问题】：
1、若有相应异常，先当前群里报备，再确认对业务有没有影响，并第一时间定位问题，并阶段性报备问题处理进展；

2、定位问题，则优先check代码、统一配置发布记录，中间件(db、redis、mq、统一配置)及应用运维侧有无异常，
再定位业务异常，确定是外部依赖异常，还是应用内部代码异常，若外部依赖异常，则及时找下游依赖方反馈，若内部
异常则结合日志系统链路定位报错代码，定位具体问题，若需要发布，则需及时报备；

3、若无异常，也需要阶段性群里报备下，至少早、中、晚报备一次；

JVM线上运维常用手册

JVM常见指令

• 查看Java进程PID
• jps
• jstack
• jmap
• jstat

查看Java进程PID

ps -ef|grep java

---

jps

jps -l

• -q 不输出类名、Jar名和传入main方法的参数
• -m 输出传入main方法的参数
• -l 输出main类或Jar的全限名
• -v 输出传入JVM的参数

转换16进制

printf "%x\\n" [线程id]

---

jstack

jstack [ option ] pid 

jstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码

定位死循环、线程阻塞、死锁等问题

jstack 进程号|grep 16进制异常线程号 -A90

这里涉及到线程的几种状态：

---

jmap

命令jmap是一个多功能的命令。它可以生成 java 程序的 dump 文件， 也可以查看堆内对象示例的统计信息、查看 ClassLoader 的信息以及 finalizer 队列

生产环境慎用

	jmap [option] <pid>
        (to connect to running process) 连接到正在运行的进程

    jmap [option] <executable <core>
        (to connect to a core file)     连接到核心文件

    jmap [option] [server_id@]<remote server IP or hostname>
        (to connect to remote debug server) 连接到远程调试服务

常用命令

命令：jmap -heap pid
打印一个堆的摘要信息，包括使用的GC算法、堆配置信息和各内存区域内存使用信息

jmap -heap PID

64位机上使用需要使用如下方式：

jmap -J-d64 -heap pid

---

jstat

jstat命令可以查看堆内存各部分的使用量

 jstat [-命令选项] [vmid] [间隔时间/毫秒] [查询次数]

常用命令：

查看垃圾回收统计

jstat -gcuitl PID

• S0：幸存1区当前使用比例
• S1：幸存2区当前使用比例
• E：伊甸园区使用比例
• O：老年代使用比例
• M：元数据区使用比例
• CCS：压缩使用比例
• YGC：年轻代垃圾回收次数
• FGC：老年代垃圾回收次数
• FGCT：老年代垃圾回收消耗时间
• GCT：垃圾回收消耗总时间