Log4j的邮件发送类SMTPAppender改造

Posted 2021-04-20 单行线的旋律

在开发过程中，我们有时需要将重要的错误日志通过邮件发送给相关的责任人，这样能即时发现错误，即时解决。如使用Log4J,一般会做如下配置：

log4j.rootLogger = debug,mail

# 发送日志到指定邮件
log4j.appender.mail=org.apache.log4j.net.SMTPAppender
log4j.appender.mail.Threshold=INFO
log4j.appender.mail.BufferSize=10log4j.appender.mail.From=[e-mail]
log4j.appender.mail.To=[e-mail]
log4j.appender.mail.SMTPHost=smtp.qq.com
#发送邮件箱的用户
log4j.appender.mail.SMTPUsername=[e-mail]
#邮箱的授权码
log4j.appender.mail.SMTPPassword=

但是我在使用过程中发现标准的org.apache.log4j.net.SMTPAppender有如下几个问题。

1. 同步发送邮件。这样会阻塞业务正常进行(比如等待一个SQL查询，需要等待邮件发送后才显示结果，显然不能忍受)

解决办法: 使用线程池的方式，将发送邮件包装成Runnable任务，送到线程池中执行。同步队列我选择的是设置了固定大小的LinkedBlockingQueue,设置固定大小是因为需要发邮件的重要日志不是太多，二是不能因为邮件任务占用了太多的内存；选择LinkedBlockingQueue,是因为LinkedBlockingQueue读写锁分离，可以边添加任务，边发送邮件；核心线程数和最大线程数，可以根据业务量和CPU核数设定。

2. 缓存大小bufferSize(日志事件的个数)只是设置缓存大小，并不能等到缓存满时才发送(其实是只要有发生ERROR级别及以上的的事件时就将缓存中保存的所有满足threshold级别的日志都发送,在发送之前缓存满时会从头开始，新的日志覆盖旧的)

解决办法: 去掉默认实现类CyclicBuffer，改成同步队列；因为CyclicBuffer线程不安全，添加日志和获取日志并不是同一个线程，所以采用了线程安全的同步队列，而且还需要实现当同步队列中日志快满时将触发发送邮件；所以需要自定义同步队列，加上一个阀值factor，当同步队列中的日志个数达到bufferSize*factor时就发送邮件，这样可以预留一部分空间存放后添加进来的日志；同步队列我选择的是 LinkedBlockingQueue，可以边添加日志，边读取日志，吞吐量比较大。目前发送邮件触发的条件是：发生了 ERROR 或 ERROR以上级别 的错误时发送邮件，改成当缓存同步队列中元素个数大于或等于 bufferSize*factor 时，触发回调函数，启动发送邮件任务。

改造步骤：
1. 定义回调接口AlertWillBeFull
2. 自定义同步队列 AlertLinkedBlockingQueue ,继承 LinkedBlockingQueue，添加成员变量factor及回调接口,在所有添加动作之前进行判断是否达到阀值。
3. 去掉SMTPAppender类中的实现类DefaultEvaluator及所有调用它的地方
4. 在创建缓存同步队列时，传入回调对象，等待同步队列调用
5. 添加日志到缓存同步队列和从缓存同步队列读取日志分别使用offer和poll方法，不阻塞线程也不抛异常，以免影响实际业务进行，而且少少量日志影响也不大。

3. 发送的日志比较杂乱，需要排除某些包下的日志（比如有些不重要的日志，或者只想看某些包下的日志

解决方法：添加成员变量excludePackages和includePackages,修改checkEntryConditions方法逻辑

这样就能在log4j.properties配置文件中配置缓存大小，以及添加排除或只关心的记录日志的包，也可以添加多个发送邮件的配置，将不同包下的日志发送给不同的责任人。

最终配置如下:

log4j.rootLogger = debug,mail

# 发送日志到指定邮件
log4j.appender.mail=org.apache.log4j.net.SMTPAppender
#排除的包(多个包，以英文逗号隔开)
#log4j.appender.mail.excludePackage=com.alibaba.druid
#仅关心的包，一般excludePackage与includePackage任选一即可，多个包以英文逗号隔开
log4j.appender.mail.includePackage=cn.yang.practise.service,cn.yang.practise.controller,com.alibaba.druid
log4j.appender.mail.Threshold=INFO
log4j.appender.mail.BufferSize=16log4j.appender.mail.From=[e-mail]
log4j.appender.mail.To=[e-mail]
log4j.appender.mail.SMTPHost=smtp.qq.com
#发送邮件箱的用户
log4j.appender.mail.SMTPUsername=[e-mail]
#邮箱的授权码
log4j.appender.mail.SMTPPassword=