系统日志的重要性

Posted 2020-09-01 PerKins Zhu

　　与一个简单的算法不同，一个合格的系统不仅仅要求具有运行的高效和计算的准确，同时又必须兼顾稳定性、可靠性。其次，对于开发人员来说，又必须具有可拓展性和可维护性。各方面都必须很完善，这样的一个系统才能称得上是一个合格完美的系统。简单的站在开发人员的角度分析，比较重视的是系统的可维护性，毕竟开发人员直面的是系统的代码实现。一个代码结构冗杂、模块设计混乱、命名“异想天开”的系统对于开发者来说简直到了咬牙切齿的地步！不能忍！坚决不能忍！所以在平时的开发过程中就要时刻注意着系统的实现机制，从宏观设计和微观实现上面同时进行精雕细琢。前几天看到阿里巴巴出的《Java 开发规范》，这里附上链接，建议大家看看。

　　说到可维护性及不得不涉及到系统监控和Bug的快速定位。在开发阶段还比较容易对系统进行监控，一般都会在本机上对系统的运行进行实时监控。而对于bug的定位，开发者都会熟练使用debug功能进行bug定位，更有甚者通过多年的开发经验根据系统的异常信息直接能分析出来Bug产生的原因、位置以及解决方案。但是，系统毕竟是人开发的，我们无法预料到在运行中会出行什么想不到的问题，即使在各种测试中没有出现，但是也无法保证不会出现一些意想不到的问题。那么在系统运行期间如果产生问题出现异常且无法在测试环境中重现，我们又该如何快速、准确地对bug进行定位分析和解决呢？举个亲身的例子吧，公司一套设备监控系统，用来对上万个节点进行实时监控，如果该节点有异常（比如温度过高、电压过高等）则向系统进行发出告警信息。在开发环境中只有五十多个设备被安全（不会产生什么告警）的放在机房中供开发和测试使用，这种测试环境根本无法模拟实际环境。系统在测试中没有出现过什么大的问题。然而，在实际的运行环境中，偶尔发现系统的一个模块功能会丧失，失去告警接收的功能。在本地测试的时候从来没有发现过类似问题，但是部署在实际环境中就会有发生。我们不可能实时的24小时对系统进行人工监控，那么该如何定位功能丧失的原因呢？这时，对于系统日志来说就“是时候表演真正的技术了”。后来通过系统日志分析之后发现功能的丧失是由于大量的告警同时上报导致数据库链接不够用产生大量connectionTimeout进而导致OOM异常,这个模块彻底死了。可见，日志对于运行环境中系统的监控和问题定位是至关重要的，在系统设计、开发和实现的过程中必须时刻注意着log的输出，这将会对于日后的系统监控和异常分析起至关重要的作用！

　　那么，在系统日志实现上应该注意哪些问题呢？如何做到不滥用日志、减少大量无用信息，让日志记录足够精简明了？

　　第一：系统的哪些运行信息需要进行日志记录？

　　　　1、功能模块的启动和结束（完整的系统由多个功能模块组成，每个模块负责不同的功能，因此需要对模块的启动和结束进行监控。是否在需要的时机正常加载该模块？又是否在退出结束的时候正常完成结束操作，正常退出？）

　　　　2、用户的登录和退出（哪位用户在什么时间通过什么IP登录或退出了系统）

　　　3、系统的关键性操作（数据库链接信息、网络通信的成功与失败等）

　　　4、系统运行期间的异常信息（NPE、OOM以及其他的超时、转换异常等）

　　　　5、关键性方法的进入和退出（一些重要业务处理的方法，在进入和结束的时候需要有日志信息进行输出）

　　　　……

　　　　  ……

　 第二：什么样的日志格式有助于开发者进行明确的分析？

　　　　   日志信息要求必须精简，过多的无用信息不但对系统分析起不到什么作用，反而会增加系统的运行压力、消耗系统的运行资源。这里有个日志模板，可供参考。

　　　　   时间-[线程名][日志等级]-日志输出位置（全类名，可以精确到方法名）:日志信息

　　　　  2013-09-04 10:49:20.296-[Thread-initRedis21504][INFO]-com.shanghai.LoginController.initLogInfo:LingMing[User] is logining

　　　　   日志信息的内容可以根据不同的情况进行设计，但是前面的时间到日志输出位置必须要保证完整性，这样才有利于日志的分析。

　 第三：如何对不同的日志信息进行等级划分？

　　　  　日志等级通常分为四种：DEBUG、INFO、WARN、ERROR

　　　　  DEBUG:系统调试信息，通常用于开发过程中对系统运行情况的监控，在实际运行环境中不进行输出。

　　　  　INFO:系统运行的关键性信息，通常用于对系统运行情况的监控。

　　　  　WARN:告警信息，系统存在潜在的问题，有可能引起运行异常，但此时并未产生异常。

　　　  　ERROR:系统错误信息，需要进行及时处理和优化。

 　　这里列出来了各种等级的日志信息，在开发过程中哪些信息需要设置为哪种等级有赖于开发者的自己判断，这里只是给个建议。

　　日志的管理是系统很重要的一部分，千万不可忽略其重要性。完整的日志将会在系统维护中起着异常重要的作用，就好像磨刀不误砍柴工一样，日志就像对系统进行分析的工具，工具便捷了，对系统分析起来就能达到事半功倍的效果。开发者必须要明白日志的价值和意义，万万不可忽略和轻视，并且在系统设计之初就建议制定一份关于日志管理的说明规范，明确哪些方法、操作必须进行日志输出，在进行开发过程中也要严格遵守。

　　至于日志输出的实现，不同的开发语言有不同的日志管理框架，同一种语言也有很多不同的日志管理方案，这里就不再进行赘述。本文目的就是想让开发者看到日志的重要性。

　　下面附带一份log4j的配置文件，便于日后进行设计的时候查找。转载自：log4j.properties配置详解与实例-全部测试通过

　　

################################################################################ 
#①配置根Logger，其语法为： 
# 
#log4j.rootLogger = [level],appenderName,appenderName2,... 
#level是日志记录的优先级，分为OFF,TRACE,DEBUG,INFO,WARN,ERROR,FATAL,ALL 
##Log4j建议只使用四个级别，优先级从低到高分别是DEBUG,INFO,WARN,ERROR 
#通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关 
#比如在这里定义了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来 
#appenderName就是指定日志信息输出到哪个地方。可同时指定多个输出目的 
################################################################################ 
################################################################################ 
#②配置日志信息输出目的地Appender，其语法为： 
# 
#log4j.appender.appenderName = fully.qualified.name.of.appender.class 
#log4j.appender.appenderName.optionN = valueN 
# 
#Log4j提供的appender有以下几种： 
#1)org.apache.log4j.ConsoleAppender(输出到控制台) 
#2)org.apache.log4j.FileAppender(输出到文件) 
#3)org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件) 
#4)org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件) 
#5)org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方) 
# 
#1)ConsoleAppender选项属性 
# -Threshold = DEBUG:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -Target = System.err:默认值System.out,输出到控制台(err为红色,out为黑色) 
# 
#2)FileAppender选项属性 
# -Threshold = INFO:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:\log4j.log:指定消息输出到C:\log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -Encoding = UTF-8:可以指定文件编码格式 
# 
#3)DailyRollingFileAppender选项属性 
# -Threshold = WARN:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:\log4j.log:指定消息输出到C:\log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -DatePattern=‘.‘yyyy-ww:每周滚动一次文件,即每周产生一个新的文件。还可以按用以下参数: 
#              ‘.‘yyyy-MM:每月 
#              ‘.‘yyyy-ww:每周 
#              ‘.‘yyyy-MM-dd:每天 
#              ‘.‘yyyy-MM-dd-a:每天两次 
#              ‘.‘yyyy-MM-dd-HH:每小时 
#              ‘.‘yyyy-MM-dd-HH-mm:每分钟 
# -Encoding = UTF-8:可以指定文件编码格式 
# 
#4)RollingFileAppender选项属性 
# -Threshold = ERROR:指定日志消息的输出最低层次 
# -ImmediateFlush = TRUE:默认值是true,所有的消息都会被立即输出 
# -File = C:/log4j.log:指定消息输出到C:/log4j.log文件 
# -Append = FALSE:默认值true,将消息追加到指定文件中，false指将消息覆盖指定的文件内容 
# -MaxFileSize = 100KB:后缀可以是KB,MB,GB.在日志文件到达该大小时,将会自动滚动.如:log4j.log.1 
# -MaxBackupIndex = 2:指定可以产生的滚动文件的最大数 
# -Encoding = UTF-8:可以指定文件编码格式 
################################################################################ 
################################################################################ 
#③配置日志信息的格式(布局)，其语法为： 
# 
#log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class 
#log4j.appender.appenderName.layout.optionN = valueN 
# 
#Log4j提供的layout有以下几种： 
#5)org.apache.log4j.htmlLayout(以HTML表格形式布局) 
#6)org.apache.log4j.PatternLayout(可以灵活地指定布局模式) 
#7)org.apache.log4j.SimpleLayout(包含日志信息的级别和信息字符串) 
#8)org.apache.log4j.TTCCLayout(包含日志产生的时间、线程、类别等等信息) 
#9)org.apache.log4j.xml.XMLLayout(以XML形式布局) 
# 
#5)HTMLLayout选项属性 
# -LocationInfo = TRUE:默认值false,输出java文件名称和行号 
# -Title=Struts Log Message:默认值 Log4J Log Messages 
# 
#6)PatternLayout选项属性 
# -ConversionPattern = %m%n:格式化指定的消息(参数意思下面有) 
# 
#9)XMLLayout选项属性 
# -LocationInfo = TRUE:默认值false,输出java文件名称和行号 
# 
#Log4J采用类似C语言中的printf函数的打印格式格式化日志信息，打印参数如下： 
# %m 输出代码中指定的消息 
# %p 输出优先级，即DEBUG,INFO,WARN,ERROR,FATAL 
# %r 输出自应用启动到输出该log信息耗费的毫秒数 
# %c 输出所属的类目,通常就是所在类的全名 
# %t 输出产生该日志事件的线程名 
# %n 输出一个回车换行符，Windows平台为“\r\n”，Unix平台为“\n” 
# %d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式 
#    如：%d{yyyy年MM月dd日 HH:mm:ss,SSS}，输出类似：2012年01月05日 22:10:28,921 
# %l 输出日志事件的发生位置，包括类目名、发生的线程，以及在代码中的行数 
#    如：Testlog.main(TestLog.java:10) 
# %F 输出日志消息产生时所在的文件名称 
# %L 输出代码中的行号 
# %x 输出和当前线程相关联的NDC(嵌套诊断环境),像java servlets多客户多线程的应用中 
# %% 输出一个"%"字符 
# 
# 可以在%与模式字符之间加上修饰符来控制其最小宽度、最大宽度、和文本的对齐方式。如： 
#  %5c: 输出category名称，最小宽度是5，category<5，默认的情况下右对齐 
#  %-5c:输出category名称，最小宽度是5，category<5，"-"号指定左对齐,会有空格 
#  %.5c:输出category名称，最大宽度是5，category>5，就会将左边多出的字符截掉，<5不会有空格 
#  %20.30c:category名称<20补空格，并且右对齐，>30字符，就从左边交远销出的字符截掉 
################################################################################ 
################################################################################ 
#④指定特定包的输出特定的级别 
#log4j.logger.org.springframework=DEBUG 
################################################################################ 

#OFF,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB,ALL 
log4j.rootLogger =ALL,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB 

#输出到控制台 
log4j.appender.systemOut = org.apache.log4j.ConsoleAppender 
log4j.appender.systemOut.layout = org.apache.log4j.PatternLayout 
log4j.appender.systemOut.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.systemOut.Threshold = DEBUG 
log4j.appender.systemOut.ImmediateFlush = TRUE 
log4j.appender.systemOut.Target = System.out 

#输出到文件 
log4j.appender.logFile = org.apache.log4j.FileAppender 
log4j.appender.logFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logFile.Threshold = DEBUG 
log4j.appender.logFile.ImmediateFlush = TRUE 
log4j.appender.logFile.Append = TRUE 
log4j.appender.logFile.File = ../Struts2/WebRoot/log/File/log4j_Struts.log 
log4j.appender.logFile.Encoding = UTF-8 

#按DatePattern输出到文件 
log4j.appender.logDailyFile = org.apache.log4j.DailyRollingFileAppender 
log4j.appender.logDailyFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logDailyFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logDailyFile.Threshold = DEBUG 
log4j.appender.logDailyFile.ImmediateFlush = TRUE 
log4j.appender.logDailyFile.Append = TRUE 
log4j.appender.logDailyFile.File = ../Struts2/WebRoot/log/DailyFile/log4j_Struts 
log4j.appender.logDailyFile.DatePattern = ‘.‘yyyy-MM-dd-HH-mm‘.log‘ 
log4j.appender.logDailyFile.Encoding = UTF-8 

#设定文件大小输出到文件 
log4j.appender.logRollingFile = org.apache.log4j.RollingFileAppender 
log4j.appender.logRollingFile.layout = org.apache.log4j.PatternLayout 
log4j.appender.logRollingFile.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n 
log4j.appender.logRollingFile.Threshold = DEBUG 
log4j.appender.logRollingFile.ImmediateFlush = TRUE 
log4j.appender.logRollingFile.Append = TRUE 
log4j.appender.logRollingFile.File = ../Struts2/WebRoot/log/RollingFile/log4j_Struts.log 
log4j.appender.logRollingFile.MaxFileSize = 1MB 
log4j.appender.logRollingFile.MaxBackupIndex = 10 
log4j.appender.logRollingFile.Encoding = UTF-8 

#用Email发送日志 
log4j.appender.logMail = org.apache.log4j.net.SMTPAppender 
log4j.appender.logMail.layout = org.apache.log4j.HTMLLayout 
log4j.appender.logMail.layout.LocationInfo = TRUE 
log4j.appender.logMail.layout.Title = Struts2 Mail LogFile 
log4j.appender.logMail.Threshold = DEBUG 
log4j.appender.logMail.SMTPDebug = FALSE 
log4j.appender.logMail.SMTPHost = SMTP.163.com 
log4j.appender.logMail.From = [email protected].com 
log4j.appender.logMail.To = [email protected] 
#log4j.appender.logMail.Cc = [email protected] 
#log4j.appender.logMail.Bcc = [email protected] 
log4j.appender.logMail.SMTPUsername = xly3000 
log4j.appender.logMail.SMTPPassword = 1234567 
log4j.appender.logMail.Subject = Log4j Log Messages 
#log4j.appender.logMail.BufferSize = 1024 
#log4j.appender.logMail.SMTPAuth = TRUE 

#将日志登录到mysql数据库 
log4j.appender.logDB = org.apache.log4j.jdbc.JDBCAppender 
log4j.appender.logDB.layout = org.apache.log4j.PatternLayout 
log4j.appender.logDB.Driver = com.mysql.jdbc.Driver 
log4j.appender.logDB.URL = jdbc:mysql://127.0.0.1:3306/xly 
log4j.appender.logDB.User = root 
log4j.appender.logDB.Password = 123456 
log4j.appender.logDB.Sql = INSERT INTOT_log4j(project_name,create_date,level,category,file_name,thread_name,line,all_category,message)values(‘Struts2‘,‘%d{yyyy-MM-ddHH:mm:ss}‘,‘%p‘,‘%c‘,‘%F‘,‘%t‘,‘%L‘,‘%l‘,‘%m‘)