log4j 日志脱敏处理 + java properties文件加载
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了log4j 日志脱敏处理 + java properties文件加载相关的知识，希望对你有一定的参考价值。
Java 加载Properties 配置文件：
ResourceBundle bundle = ResourceBundle.getBundle("log4j_filter"); // 不要写扩展名 .properties
LOG_FILTER_SWITH = bundle.getString("log4j.filter.swith");
LOG_FILTER_KEYS = bundle.getString("log4j.filter.keys");
// 直接在本类中使用main调用时用 Properties.class.getResourceAsStream("/log4j_filter.properties");
//Properties p = new Properties();
//p.load(in);
//LOG_FILTER_SWITH = p.getProperty("log4j.filter.swith");
//LOG_FILTER_KEYS = p.getProperty("log4j.filter.keys");
日志脱敏实现： 因为只修改了一个log4j类的调用，故日志必须是
private final static Logger logger = LogManager.getLogger(SeqConfControl.class);
1 , 配置文件 log4j_filter.properties （一个参数是脱敏日志开关， 一个参数是要脱敏的关键字）
2，自定义类 ： org.apache.logging.log4j.spi.Log4jFilter.java 是解析处理日志字符串中的敏感信息；
log4j原生类： org.apache.logging.log4j.spi.AbstractLogger.java 负责调用自己写的类的方法.
3， 规则 支持k:v 和 k=v 两种形式的数据处理
脱敏时v的长度如果大于8， 采用 XXX****XXX的形式脱敏； 如果小于等于8采用 ******* 形式脱敏
效果：
20:25:02,0197 [INFO ][ ][connect to SFTP . ip:10.0.26.36; port:22;uppath:null;downpath:home/selfftp/selffile/20161209/;username:selfftp;password:********][ :][hulk.frame.sftp.SFtpTools]
21:06:16,0907 [INFO ][ ][接收到一个纯文本消息并开始传入数据库:{"data":"{\"state\":\"0\",\"hostName\":\"termfrontapp\",\"policyName\":\"check_SSPM_101\",\"stateName\":null,\"program\":null,\"entryId\":null,\"agentId\":null,\"msg\":\"{\\\"account_num\\\":\\\"62294785200****0034\\\",\\\"amount\\\":\\\"2.00\\\",\\\"channel_id\\\":\\\"01I\\\",\\\"p_trans_code\\\":\\\"1017006\\\",\\\"card_type\\\":\\\"\\\",\\\"start_time\\\":\\\"1481634017288\\\",\\\"end_time\\\":\\\"1481634017526\\\",\\\"term_id\\\":\\\"01159206\\\",\\\"ret_code\\\":\\\"ZZ\\\",\\\"ret_msg\\\":\\\"交易失败,请联系发卡方|Transaction failed, please contact the issuser\\\",\\\"trans_date_sspm\\\":\\\"20161213210017\\\",\\\"term_install_addr\\\":\\\"10.0.66.8-->10.0.54.198\\\",\\\"term_inst_id\\\":\\\"238\\\",\\\"p_trans_describe\\\":\\\"贷款还息\\\",\\\"account_id2\\\":\\\"\\\"}\",\"ip\":\"10.0.26.71\",\"policyId\":null}","taskClass":"stateAlarm"}][ :][hulk.sspm.trandataMonitor.util.ConsumerMessageListener]
21:06:16,0907 [INFO ][ ][the message to decode: {"account_num":"62294785200****0034","amount":"2.00","channel_id":"01I","p_trans_code":"1017006","card_type":"","start_time":"1481634017288","end_time":"1481634017526","term_id":"01159206","ret_code":"ZZ","ret_msg":"交易失败,请联系发卡方|Transaction failed, please contact the issuser","trans_date_sspm":"20161213210017","term_install_addr":"10.0.66.8-->10.0.54.198","term_inst_id":"238","p_trans_describe":"贷款还息","account_id2":""}]
log4j_filter.properties：
# log4j 过滤器配置文件，主要用于系统中敏感字段的脱敏
# true表示打开 false表示关闭
log4j.filter.swith=true
# 要脱敏的关键字
log4j.filter.keys=password,passwd,password1,password2,account_num
自定义解析类：org.apache.logging.log4j.spi.Log4jFilter.java
package org.apache.logging.log4j.spi; import java.util.ResourceBundle; import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 自定义处理 日志中的敏感信息 * @author [email protected] * */ public class Log4jFilter { /** * 日志脱敏 开关 */ private static String LOG_FILTER_SWITH = "false"; /** * 日志脱敏关键字 */ private static String LOG_FILTER_KEYS = null; static{ // 加载配置文件 try { // 直接在本类中使用main调用时用 Properties.class.getResourceAsStream("/log4j_filter.properties"); //InputStream in =Properties.class.getClassLoader().getResourceAsStream("log4j_filter.properties"); //Properties p = new Properties(); //p.load(in); //LOG_FILTER_SWITH = p.getProperty("log4j.filter.swith"); //LOG_FILTER_KEYS = p.getProperty("log4j.filter.keys"); ResourceBundle bundle = ResourceBundle.getBundle("log4j_filter"); LOG_FILTER_SWITH = bundle.getString("log4j.filter.swith"); LOG_FILTER_KEYS = bundle.getString("log4j.filter.keys"); } catch (Exception e) { e.printStackTrace(); } } /** * 处理日志字符串，返回脱敏后的字符串 * @param msg * @return */ public static String invokeMsg(final String message){ String msg = new String(message); if("true".equals(LOG_FILTER_SWITH)){ //处理字符串 if(LOG_FILTER_KEYS!=null && LOG_FILTER_KEYS.length()>0){ String[] keyArr = LOG_FILTER_KEYS.split(","); for(String key: keyArr){ // 找key int index= -1; do{ index = msg.indexOf(key, index+1); if(index!=-1){ // 判断key是否为单词字符 if(isWordChar(msg,key,index)){ continue; } // 确定是单词无疑.................................... // 寻找值的开始位置................................. int valueStart = getValueStartIndex(msg,index + key.length()); //查找值的结束位置（逗号，分号）........................ int valueEnd = getValuEndEIndex(msg,valueStart); // 对获取的值进行脱敏 String subStr = msg.substring(valueStart, valueEnd); subStr = tuomin(subStr); /////////////////////////// msg = msg.substring(0,valueStart) + subStr + msg.substring(valueEnd); } }while(index!=-1); } } } return msg; } private static Pattern pattern = Pattern.compile("[0-9a-zA-Z]"); /** * 判断从字符串msg获取的key值是否为单词 ， index为key在msg中的索引值 * @return */ private static boolean isWordChar(String msg,String key, int index){ // 必须确定key是一个单词............................ if(index!=0){ //判断key前面一个字符 char preCh = msg.charAt(index-1); Matcher match = pattern.matcher(preCh+""); if(match.matches()){ return true; } } //判断key后面一个字符 char nextCh = msg.charAt(index+key.length()); Matcher match = pattern.matcher(nextCh+""); if(match.matches()){ return true; } return false; } /** * 获取value值的开始位置 * @param msg 要查找的字符串 * @param valueStart 查找的开始位置 * @return */ private static int getValueStartIndex(String msg, int valueStart ){ // 寻找值的开始位置................................. do{ char ch = msg.charAt(valueStart); if(ch == ‘:‘ || ch == ‘=‘){ // key 与 value的分隔符 valueStart ++; ch = msg.charAt(valueStart); if(ch == ‘"‘){ valueStart ++; } break; //找到值的开始位置 }else{ valueStart ++; } }while(true); return valueStart; } /** * 获取value值的结束位置 * @return */ private static int getValuEndEIndex(String msg,int valueEnd){ do{ if(valueEnd == msg.length()){ break; } char ch = msg.charAt(valueEnd); if(ch == ‘"‘){ // 引号时，判断下一个值是结束，分号还是逗号决定是否为值的结束 if(valueEnd+1 == msg.length()){ break; } char nextCh = msg.charAt(valueEnd+1); if(nextCh ==‘;‘ || nextCh == ‘,‘){ // 去掉前面的 \ 处理这种形式的数据 "account_num\\\":\\\"6230958600001008\\\" while(valueEnd>0 ){ char preCh = msg.charAt(valueEnd-1); if(preCh != ‘\\‘){ break; } valueEnd--; } break; }else{ valueEnd ++; } }else if (ch ==‘;‘ || ch == ‘,‘){ break; }else{ valueEnd ++; } }while(true); return valueEnd; } private static String tuomin(String submsg){ StringBuffer sbResult = new StringBuffer(); if(submsg!=null && submsg.length()>0){ int len = submsg.length(); if(len > 8){ //8位以上的 隐掉中间4位 for(int i = len-1;i>=0;i--){ if(len-i<5 || len-i>8){ sbResult.insert(0, submsg.charAt(i)); }else{ sbResult.insert(0, ‘*‘); } } }else{ //8位以下的全部使用 * for(int i =0;i<len;i++){ sbResult.append(‘*‘); } } } return sbResult.toString(); } public static void main (String[] args) { //{\\\"account_num\\\":\\\"6230958600001008\\\",\\\"amount\\\":\\\"\\\" String msg = "\\\"account_num\\\":\\\"6230958600001008\\\",\\\"amount\\\":\\\"\\\""; System.out.println(invokeMsg(msg)); } }
log4j原生类 org.apache.logging.log4j.spi.AbstractLogger.java 修改的地方
# 代码 725行左右的方法 protected void logMessage(final String fqcn, final Level level, final Marker marker, final String message, final Throwable t) { // by yangw String invokeMsg = Log4jFilter.invokeMsg(message); logMessage(fqcn, level, marker, messageFactory.newMessage(invokeMsg), t); }
以上是关于log4j 日志脱敏处理 + java properties文件加载的主要内容，如果未能解决你的问题，请参考以下文章
java 日志脱敏框架 sensitive，优雅的打印脱敏日志