利用java concurrent 包实现日志写数据库的并发处理

Posted 2020-06-08

一、概述

在很多系统中，往往需要将各种操作写入数据库（比如客户端发起的操作）。

最简单的做法是，封装一个公共的写日志的api，各个操作中调用该api完成自己操作日志的入库。但因为入数据库效率比较低，如果每个操作自己入库，则会影响响应速度。而且当操作并发度很高时，往往同时有多个线程在写数据库，也会对系统有影响。

考虑的解决方案是，这个api并不实际完成入库，而是将每个操作日志信息写到一个公共的缓存中，然后应用系统起了一个独立的线程（一直运行）在后台进行入库。如果当前缓存中有记录，就写库，没有记录，就堵塞住。

这里关键的是要有一个缓存日志的数据结构，我们这里使用java current包中的并发数据结构LinkedBlockingDeque类。

 

二、具体代码

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.LinkedBlockingDeque;

public class LogManager implements Runnable {
    //定义缓存数据结构，支持并发操作
    private static LinkedBlockingDeque<ActionLog> list = new LinkedBlockingDeque<ActionLog>();
    static{
        //创建并启动线程，该线程实现日志的入库
        new Thread(new LogManager()).start();
    }
    public static void addActionLog(ActionLog log) {
        list.add(log);
    }

    @Override
    public void run() {
        List<ActionLog> items = new ArrayList<ActionLog>();
        while (true) {
            //从缓存中取出1条日志，但不从缓存中删除。用于检查队列中是否有数据
            ActionLog item = list.peek();
            if (item == null && items.size() > 0) {
                //item为null说明缓存中没有日志了，这时如果临时队列items中有记录，就可以批量入库了
                work(items);
            }
            //从缓存中取出并删除最前面的日志，如果无数据，在堵塞
            ActionLog result = deleteItem();
            //将取出的记录放到临时队列中
            items.add(result);
        }
    }

    private ActionLog deleteItem() {
        ActionLog result = null;
        try {
            //取出并删除最前面的一条数据，如果缓存中无数据，则堵塞住
            result = list.takeFirst();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return result;
    }

    private void work(List<ActionLog> items) {
        //TODO 完成入库。这里代码没有提供
        //入库后删除临时队列中记录
        items.clear();
    }

}

各种工作线程调用 addActionLog 方法将要入库的日志放到缓存中。由LogManager通过自己的线程控制入库。

三、小结

上述代码虽然简单，但很好的解决了前面提出的问题。不过这个解决方案存在一个问题。

如果说系统产生日志的速度超过了单个线程入库的速度，上述代码就有问题。就会造成该线程不停地入库。

这时就需要考虑增加额外的处理速度，如增加入库线程。

所以上述代码，只适合并发日志量不是特别大的情况下的场景。