log4j 日志脱敏处理 + java properties文件加载

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了log4j 日志脱敏处理 + java properties文件加载相关的知识,希望对你有一定的参考价值。

 

Java 加载Properties 配置文件:

        ResourceBundle bundle = ResourceBundle.getBundle("log4j_filter"); // 不要写扩展名  .properties
        LOG_FILTER_SWITH = bundle.getString("log4j.filter.swith");
        LOG_FILTER_KEYS = bundle.getString("log4j.filter.keys");

    // 直接在本类中使用main调用时用 Properties.class.getResourceAsStream("/log4j_filter.properties");
    //Properties p = new Properties();
    //p.load(in);
    //LOG_FILTER_SWITH = p.getProperty("log4j.filter.swith");
    //LOG_FILTER_KEYS = p.getProperty("log4j.filter.keys");


 

日志脱敏实现: 因为只修改了一个log4j类的调用,故日志必须是 

    private final static Logger logger = LogManager.getLogger(SeqConfControl.class);
1 , 配置文件 log4j_filter.properties (一个参数是脱敏日志开关, 一个参数是要脱敏的关键字)
2,自定义类  :     org.apache.logging.log4j.spi.Log4jFilter.java 是解析处理日志字符串中的敏感信息;
      log4j原生类: org.apache.logging.log4j.spi.AbstractLogger.java  负责调用自己写的类的方法.
 
3, 规则   支持k:v  和  k=v  两种形式的数据处理
                 脱敏时v的长度如果大于8,  采用   XXX****XXX的形式脱敏;  如果小于等于8采用  ******* 形式脱敏
 
效果:
20:25:02,0197 [INFO ][ ][connect to SFTP . ip:10.0.26.36; port:22;uppath:null;downpath:home/selfftp/selffile/20161209/;username:selfftp;password:********][ :][hulk.frame.sftp.SFtpTools]

21:06:16,0907 [INFO ][ ][接收到一个纯文本消息并开始传入数据库:{"data":"{\"state\":\"0\",\"hostName\":\"termfrontapp\",\"policyName\":\"check_SSPM_101\",\"stateName\":null,\"program\":null,\"entryId\":null,\"agentId\":null,\"msg\":\"{\\\"account_num\\\":\\\"62294785200****0034\\\",\\\"amount\\\":\\\"2.00\\\",\\\"channel_id\\\":\\\"01I\\\",\\\"p_trans_code\\\":\\\"1017006\\\",\\\"card_type\\\":\\\"\\\",\\\"start_time\\\":\\\"1481634017288\\\",\\\"end_time\\\":\\\"1481634017526\\\",\\\"term_id\\\":\\\"01159206\\\",\\\"ret_code\\\":\\\"ZZ\\\",\\\"ret_msg\\\":\\\"交易失败,请联系发卡方|Transaction failed, please contact the issuser\\\",\\\"trans_date_sspm\\\":\\\"20161213210017\\\",\\\"term_install_addr\\\":\\\"10.0.66.8-->10.0.54.198\\\",\\\"term_inst_id\\\":\\\"238\\\",\\\"p_trans_describe\\\":\\\"贷款还息\\\",\\\"account_id2\\\":\\\"\\\"}\",\"ip\":\"10.0.26.71\",\"policyId\":null}","taskClass":"stateAlarm"}][ :][hulk.sspm.trandataMonitor.util.ConsumerMessageListener] 
21:06:16,0907 [INFO ][ ][the message to decode: {"account_num":"62294785200****0034","amount":"2.00","channel_id":"01I","p_trans_code":"1017006","card_type":"","start_time":"1481634017288","end_time":"1481634017526","term_id":"01159206","ret_code":"ZZ","ret_msg":"交易失败,请联系发卡方|Transaction failed, please contact the issuser","trans_date_sspm":"20161213210017","term_install_addr":"10.0.66.8-->10.0.54.198","term_inst_id":"238","p_trans_describe":"贷款还息","account_id2":""}]

 

 log4j_filter.properties:

# log4j 过滤器配置文件,主要用于系统中敏感字段的脱敏

# true表示打开   false表示关闭
log4j.filter.swith=true
# 要脱敏的关键字
log4j.filter.keys=password,passwd,password1,password2,account_num

 自定义解析类:org.apache.logging.log4j.spi.Log4jFilter.java 

package org.apache.logging.log4j.spi;

import java.util.ResourceBundle;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 自定义处理 日志中的敏感信息
 * @author [email protected]
 *
 */
public class Log4jFilter {

    /**
     * 日志脱敏 开关
     */
    private static String LOG_FILTER_SWITH = "false";
    /**
     * 日志脱敏关键字
     */
    private static String LOG_FILTER_KEYS = null; 
    static{
        // 加载配置文件
        try {
            // 直接在本类中使用main调用时用 Properties.class.getResourceAsStream("/log4j_filter.properties");
            //InputStream in =Properties.class.getClassLoader().getResourceAsStream("log4j_filter.properties"); 
            //Properties p = new Properties();
            //p.load(in);
            //LOG_FILTER_SWITH = p.getProperty("log4j.filter.swith");
            //LOG_FILTER_KEYS = p.getProperty("log4j.filter.keys");
            ResourceBundle bundle = ResourceBundle.getBundle("log4j_filter");
            LOG_FILTER_SWITH = bundle.getString("log4j.filter.swith");
            LOG_FILTER_KEYS = bundle.getString("log4j.filter.keys");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    
    
    /**
     * 处理日志字符串,返回脱敏后的字符串
     * @param msg
     * @return
     */
    public static String invokeMsg(final String message){
        
        String msg = new String(message);
        if("true".equals(LOG_FILTER_SWITH)){
            //处理字符串
            if(LOG_FILTER_KEYS!=null && LOG_FILTER_KEYS.length()>0){
                
                String[] keyArr = LOG_FILTER_KEYS.split(",");
                for(String key: keyArr){
                    // 找key
                    int index= -1; 
                    do{
                        index = msg.indexOf(key, index+1);
                        if(index!=-1){ 
                            // 判断key是否为单词字符
                            if(isWordChar(msg,key,index)){
                                continue;
                            }
                            // 确定是单词无疑....................................
                            // 寻找值的开始位置.................................
                            int valueStart = getValueStartIndex(msg,index + key.length());
                            
                            //查找值的结束位置(逗号,分号)........................
                            int valueEnd = getValuEndEIndex(msg,valueStart);
                            
                            // 对获取的值进行脱敏 
                            String subStr = msg.substring(valueStart, valueEnd);
                            subStr = tuomin(subStr);
                            ///////////////////////////
                            msg = msg.substring(0,valueStart) + subStr + msg.substring(valueEnd);
                        }
                    }while(index!=-1);
                    
                }
            }
        }
        
        return msg;
    }
    
    
    private static Pattern pattern = Pattern.compile("[0-9a-zA-Z]");
    /**
     * 判断从字符串msg获取的key值是否为单词 , index为key在msg中的索引值
     * @return
     */
    private static boolean isWordChar(String msg,String key, int index){
        
        // 必须确定key是一个单词............................
        if(index!=0){ //判断key前面一个字符
            char preCh = msg.charAt(index-1);
            Matcher match = pattern.matcher(preCh+"");
            if(match.matches()){
                return true;
            }
        }
        //判断key后面一个字符
        char nextCh = msg.charAt(index+key.length());
        Matcher match = pattern.matcher(nextCh+"");
        if(match.matches()){
            return true;
        }
        
        return false;
        
    }
    
    /**
     * 获取value值的开始位置
     * @param msg 要查找的字符串
     * @param valueStart 查找的开始位置
     * @return
     */
    private static int getValueStartIndex(String msg, int valueStart ){
        // 寻找值的开始位置.................................
        do{
            char ch = msg.charAt(valueStart);
            if(ch == ‘:‘ || ch == ‘=‘){ // key 与 value的分隔符
                valueStart ++;
                ch = msg.charAt(valueStart);
                if(ch == ‘"‘){
                    valueStart ++;
                }
                break;    //找到值的开始位置
            }else{
                valueStart ++;
            }
            
        }while(true);
        return valueStart;
    }
    
    /**
     * 获取value值的结束位置
     * @return
     */
    private static int getValuEndEIndex(String msg,int valueEnd){
        
        do{
            if(valueEnd == msg.length()){
                break;
            }
            char ch = msg.charAt(valueEnd);
            
            if(ch == ‘"‘){ // 引号时,判断下一个值是结束,分号还是逗号决定是否为值的结束
                if(valueEnd+1 == msg.length()){
                    break;
                }
                char nextCh = msg.charAt(valueEnd+1);
                if(nextCh ==‘;‘ || nextCh == ‘,‘){
                    // 去掉前面的 \  处理这种形式的数据 "account_num\\\":\\\"6230958600001008\\\"
                    while(valueEnd>0 ){
                        char preCh = msg.charAt(valueEnd-1);
                        if(preCh != ‘\\‘){
                            break;
                        }
                        valueEnd--;
                    }
                    break;
                }else{
                    valueEnd ++;
                }
            }else if (ch ==‘;‘ || ch == ‘,‘){
                break;
            }else{
                valueEnd ++;
            }
            
        }while(true);
        
        return valueEnd;
    }
    
    private static String tuomin(String submsg){

        StringBuffer sbResult = new StringBuffer();
        if(submsg!=null && submsg.length()>0){
            int len = submsg.length();
            if(len > 8){ //8位以上的    隐掉中间4位
                for(int i = len-1;i>=0;i--){
                    if(len-i<5 || len-i>8){
                        sbResult.insert(0, submsg.charAt(i));
                    }else{
                        sbResult.insert(0, ‘*‘);
                    }
                }
            }else{ //8位以下的全部使用 *
                for(int i =0;i<len;i++){
                    sbResult.append(‘*‘);
                }
            }
        }
        return sbResult.toString();
    }
    
    public static void main (String[] args) {
        //{\\\"account_num\\\":\\\"6230958600001008\\\",\\\"amount\\\":\\\"\\\"
        String msg = "\\\"account_num\\\":\\\"6230958600001008\\\",\\\"amount\\\":\\\"\\\"";
        System.out.println(invokeMsg(msg));
        
                
    }
}

log4j原生类 org.apache.logging.log4j.spi.AbstractLogger.java 修改的地方

 # 代码 725行左右的方法
 protected void logMessage(final String fqcn, final Level level, final Marker marker, final String message, final Throwable t) {
        // by yangw
        String invokeMsg = Log4jFilter.invokeMsg(message);
        logMessage(fqcn, level, marker, messageFactory.newMessage(invokeMsg), t);
    }

 







以上是关于log4j 日志脱敏处理 + java properties文件加载的主要内容,如果未能解决你的问题,请参考以下文章

用log4j2.yml中的rewrite进行日志脱敏

一文玩转 Java 日志数据脱敏

java 日志脱敏框架 sensitive,优雅的打印脱敏日志

java 日志脱敏框架 sensitive,优雅的打印脱敏日志

log4j2如何实现日志自脱敏?山人自有妙计!

java 日志的数据脱敏