MapDB使用入门

Posted shuimutong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapDB使用入门相关的知识,希望对你有一定的参考价值。

背景

MapDB官网:http://www.mapdb.org

官方翻译之后的话:MapDB基于堆外存储、磁盘存储提供了Java的Maps、Sets、Lists、Queues等功能。它混合了Java集合框架和数据库引擎。它是基于Apache许可的免费的、开源的。

个人觉得:MapDB是一个轻量级的本地缓存的框架,它既可以使用对外存储,也可以使用磁盘存储(重启时数据不丢失)。它还提供事务的功能。

开发文档:https://jankotek.gitbooks.io/mapdb/content/quick-start/

开发机器配置:i5-9400 6c6t,32g内存,固态硬盘

MapDB入门实战

1、引入jar包

<!-- https://mvnrepository.com/artifact/org.mapdb/mapdb -->
<dependency>
    <groupId>org.mapdb</groupId>
    <artifactId>mapdb</artifactId>
    <version>3.0.7</version>
</dependency>

 

2、基于堆外存储的Hello,Simple

    /**
     * 堆外内存map
     */
    public static void offHeapMapTest1() 
        DB db = DBMaker.memoryDB().make();
        ConcurrentMap map = db.hashMap("map").createOrOpen();
        String key = "Hello";
        String val = "simple";
        map.put(key, val);
        System.out.println("第1次取值," + map.get(key));
    

执行结果:

--Hello,simple----
第1次取值,simple

2.1、插曲

刚开始执行的时候,总是报下面的异常

Exception in thread "main" java.lang.NoClassDefFoundError: org/eclipse/collections/impl/list/mutable/primitive/LongArrayList
    at org.mapdb.StoreDirectAbstract.<init>(StoreDirectAbstract.kt:41)
    at org.mapdb.StoreDirect.<init>(StoreDirect.kt:30)
    at org.mapdb.StoreDirect$Companion.make(StoreDirect.kt:57)
    at org.mapdb.StoreDirect$Companion.make$default(StoreDirect.kt:56)
    at org.mapdb.DBMaker$Maker.make(DBMaker.kt:450)
    at me.lovegao.mapdb.hello.HelloWorldDemo.offHeapMapTest1(HelloWorldDemo.java:18)
    at me.lovegao.mapdb.hello.HelloWorldDemo.main(HelloWorldDemo.java:11)
Caused by: java.lang.ClassNotFoundException: org.eclipse.collections.impl.list.mutable.primitive.LongArrayList
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

 我以为是jar包没加全,又加了Eclipse相关的jar包,发现还是这样。对着项目又是清理,又是重新编译,又是重新导包,发现都不行。

仔细看了maven的依赖,都是存在的,看MapDB的文档,也说上面那个配置包含全部的。

最后,索性把本地相关的jar包都删了,让maven重新下,最终正常了。

3、基于磁盘的Hello,Simple

基于磁盘存储的,为了保证数据的完整性,需要在关闭虚拟机前关闭DB。

public static void fileMapTest1() 
    DB db = DBMaker.fileDB("file.db").make();
    ConcurrentMap map = db.hashMap("map").createOrOpen();
    String key = "something";
    String val = "here";
    map.put(key, val);
    System.out.println("第1次取值," +map.get(key));
    db.close();
    System.out.println("----------重新打开----------");
    db = DBMaker.fileDB("file.db").make();
    map = db.hashMap("map").createOrOpen();
    System.out.println("第2次取值," +map.get(key));
    db.close();

 

执行结果:

--Hello,simple----
第1次取值,simple
----------重新打开----------
第2次取值,simple

结果符合预期。

3.1、基于磁盘的,内存映射的使用

/**
 * 在64位操作系统中,开启内存映射
 * 个性化序列化
 */
public static void fileMapMemoryMapTest() 
    DB db = DBMaker
        .fileDB("file.db")
        .fileMmapEnable()
        .make();
    ConcurrentMap<String,Long> map = db
        .hashMap("mapsl", Serializer.STRING, Serializer.LONG)
        .createOrOpen();
    long val = 51;
    map.put(DEMO_KEY, val);
    System.out.println("第1次取值,期望值:" + val + ",取到的值:" +map.get(DEMO_KEY));
    db.close();
    db = DBMaker
        .fileDB("file.db")
        .fileMmapEnable()
        .make();
     map = db.hashMap("mapsl", Serializer.STRING, Serializer.LONG)
              .createOrOpen();
    System.out.println("第2次取值,期望值:" + val + ",取到的值:" +map.get(DEMO_KEY));
    db.close();

 

 执行结果:

--Hello,simple----
第1次取值,期望值:51,取到的值:51
第2次取值,期望值:51,取到的值:51

4、性能对比

1)测试代码

package me.lovegao.mapdb.hello;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.concurrent.ConcurrentMap;

import org.eclipse.collections.impl.map.mutable.ConcurrentHashMap;
import org.mapdb.DB;
import org.mapdb.DBMaker;
import org.mapdb.Serializer;

public class MapDBSpeedTest 
    private final static String DEMO_KEY = "Hello";
    private final static String DEMO_VAL = "simple";

    public static void main(String[] args) 
        System.out.println("--Hello,simple----");
//        fileMapMemoryMapTest();
        mapTest();
    
    
    public static void mapTest() 
        int dataNum = 10000;
        List<DB> dbList = new ArrayList();
        Map<String, Map<String, Long>> testMap = new HashMap();
        Map<String, Long> dataMap = generateTestData(dataNum);
        //java原生-堆内map
        ConcurrentMap<String, Long> inHeapDbMap = new ConcurrentHashMap();
        testMap.put("原生map", inHeapDbMap);
        
        
        //堆外map
        DB offHeapDb = DBMaker.memoryDB().make();
        dbList.add(offHeapDb);
        ConcurrentMap offHeapDbMap = offHeapDb.hashMap("map").createOrOpen();
        testMap.put("堆外map", offHeapDbMap);
        
        //基于磁盘map
        DB fileDb = DBMaker.fileDB("file1.db").make();
        dbList.add(fileDb);
        ConcurrentMap<String,Long> fileDbMap = fileDb
                .hashMap("map1", Serializer.STRING, Serializer.LONG)
                .createOrOpen();
        testMap.put("基于磁盘map", fileDbMap);
        
        //基于磁盘-内存映射map
        DB fileMmapDb = DBMaker
                .fileDB("file2.db")
                .fileChannelEnable() //By default MapDB uses RandomAccessFile to access disk storage. Outside fast mmap files there is third option based on FileChannel. It should be faster than RandomAccessFile
                .fileMmapEnable()            // Always enable mmap
//                .fileMmapEnableIfSupported() // Only enable mmap on supported platforms,对性能影响较大
                .fileMmapPreclearDisable()   // Make mmap file faster
//                .allocateStartSize( 10 * 1024*1024*1024)  // 10GB,初始容量
//                .allocateIncrement(512 * 1024*1024)       // 512MB,每次增加容量
                .make();
        //optionally preload file content into disk cache
        fileMmapDb.getStore().fileLoad();
        dbList.add(fileMmapDb);
        ConcurrentMap<String,Long> fileMmapMap = fileMmapDb
                .hashMap("map2", Serializer.STRING, Serializer.LONG)
                .createOrOpen();
        testMap.put("基于磁盘-内存映射map", fileMmapMap);
        
        System.out.println("-----------put---数据量:"+dataNum+"------");
        for(String mapType : testMap.keySet()) 
            putGetMapTest(mapType, testMap.get(mapType), dataMap, true);
        
        System.out.println("-----------------------------------------\n");
        System.out.println("-----------get---数据量:"+dataNum+"------");
        for(String mapType : testMap.keySet()) 
            putGetMapTest(mapType, testMap.get(mapType), dataMap, false);
        
        for(DB db : dbList) 
            db.close();
        
    
    
    
    /**
     * putGet测试
     * @param map
     * @param dataMap
     * @param put
     * @return <耗时, 异常数>
     */
    public static TwoTuple<Long, Long> putGetMapTest(String mapType, Map<String, Long> map, Map<String, Long> dataMap, boolean put) 
        long useTime = 0L;
        long errorNum = 0L;
        Iterator<Entry<String, Long>> entryIt = dataMap.entrySet().iterator();
        while(entryIt.hasNext()) 
            Entry<String, Long> entry = entryIt.next();
            if(put) 
                long t1 = System.nanoTime();
                map.put(entry.getKey(), entry.getValue());
                useTime = System.nanoTime() - t1;
             else 
                long t1 = System.nanoTime();
                long val = map.get(entry.getKey());
                useTime = System.nanoTime() - t1;
                if(val != entry.getValue()) 
                    errorNum++;
                
            
        
        double avgUseTime = (double)useTime / dataMap.size();
        String fmtStr = "map类型:%s,总耗时:%dns,平均耗时%ens,异常数量:%d";
        System.out.println(String.format(fmtStr, mapType, useTime, avgUseTime, errorNum));
        return new TwoTuple<Long, Long>(useTime, errorNum);
    
    
    /**
     * 生成测试数据
     * @param size
     * @return
     */
    public static Map<String, Long> generateTestData(int size) 
        Map<String, Long> map = new HashMap();
        int arrLength = 26;
        char[] words = new char[arrLength];
        for(int i=0; i<arrLength; i++) 
            words[i] = (char) (‘a‘ + i);
        
        System.out.println(words);
        String demoWord = new String(words);
        for(int i=0; i<size; i++) 
            String key = demoWord.substring(i%arrLength, i%arrLength) + i;
            long val = i;
            map.put(key, val);
        
        return map;
    
    
    /**
     * 对外内存map
     */
    public static void offHeapMapTest1() 
        DB db = DBMaker.memoryDB().make();
        ConcurrentMap map = db.hashMap("map").createOrOpen();
        map.put(DEMO_KEY, DEMO_VAL);
        System.out.println("第1次取值," + map.get(DEMO_KEY));
    
    
    /**
     * 基于磁盘的存储
     */
    public static void fileMapTest1() 
        DB db = DBMaker.fileDB("file.db").make();
        ConcurrentMap map = db.hashMap("map").createOrOpen();
        
        map.put(DEMO_KEY, DEMO_VAL);
        System.out.println("第1次取值," +map.get(DEMO_KEY));
        db.close();
        System.out.println("----------重新打开----------");
        db = DBMaker.fileDB("file.db").make();
        map = db.hashMap("map").createOrOpen();
        System.out.println("第2次取值," +map.get(DEMO_KEY));
        db.close();
    
    
    /**
     * 在64位操作系统中,开启内存映射
     * 个性化序列化
     */
    public static void fileMapMemoryMapTest() 
        DB db = DBMaker
                .fileDB("file.db")
                .fileMmapEnable()
                .make();
        ConcurrentMap<String,Long> map = db
                .hashMap("mapsl", Serializer.STRING, Serializer.LONG)
                .createOrOpen();
        long val = 51;
        map.put(DEMO_KEY, val);
        System.out.println("第1次取值,期望值:" + val + ",取到的值:" +map.get(DEMO_KEY));
        db.close();
        db = DBMaker
                .fileDB("file.db")
                .fileMmapEnable()
                .make();
         map = db.hashMap("mapsl", Serializer.STRING, Serializer.LONG)
                  .createOrOpen();
        System.out.println("第2次取值,期望值:" + val + ",取到的值:" +map.get(DEMO_KEY));
        db.close();
    

 

 

2)测试结果

map类型 测试数据量 测试类型 总耗时(ns) 平均耗时(ns)
原生map 10000 put 100 1.000000e-02
堆外map 同上 put 4800 4.800000e-01
基于磁盘map 同上 put 345000 3.450000e+01
基于磁盘-内存映射map 同上 put 6000 6.000000e-01
原生map 同上 get 100 1.000000e-02
堆外map 同上 get 2000 2.000000e-01
基于磁盘map 同上 get 75400 7.540000e+00
基于磁盘-内存映射map 同上 get 1100 1.100000e-01

 

 3)结论

①原生的基于堆的map速度始终是最快的

②堆外map和基于磁盘且开启了内存映射的map相比,优势较小。至于原因,有待深入理解。

③对于“基于磁盘-内存映射map”,使用“fileMmapEnableIfSupported”配置,对性能影响较大,建议直接开启。配置“fileMmapPreclearDisable”对于put的性能提升较大(约一倍提升)。

MapDB事务

MapDB是支持事务的,具体使用如下:

package me.lovegao.mapdb.hello;

import java.util.concurrent.ConcurrentMap;

import org.mapdb.DB;
import org.mapdb.DBMaker;
import org.mapdb.Serializer;

public class MapDBTransaction 

    public static void main(String[] args) 
        DB db = DBMaker
                .fileDB("file3.db")
                .fileMmapEnable()
                .transactionEnable()
                .closeOnJvmShutdown() //JVM关闭时关闭db
                .make();
        ConcurrentMap<String,Long> map = db
                .hashMap("mapsl3", Serializer.STRING, Serializer.LONG)
                .createOrOpen();
        map.put("a", 1L);
        map.put("b", 2L);
        db.commit();
        System.out.println(map.get("a"));
        System.out.println(map.get("b"));
        map.put("c", 3L);
        System.out.println("rollback之前,c:" + map.get("c"));
        db.rollback();
        System.out.println("rollback之后,a:" + map.get("a"));
        System.out.println("rollback之后,c:" + map.get("c"));
    

 

运行结果:

1
2
rollback之前,c:3
rollback之后,a:1
rollback之后,c:null

因为配置了closeOnJvmShutdown,所以再次运行时能够正常运行。

如果去掉了transactionEnable和closeOnJvmShutdown,再次运行时将出现以下异常:

Exception in thread "main" org.mapdb.DBException$DataCorruption: Header checksum broken. Store was not closed correctly and might be corrupted. Use `DBMaker.checksumHeaderBypass()` to recover your data. Use clean shutdown or enable transactions to protect the store in the future.
at org.mapdb.StoreDirectAbstract.fileHeaderCheck(StoreDirectAbstract.kt:113)
at org.mapdb.StoreDirect.<init>(StoreDirect.kt:114)
at org.mapdb.StoreDirect$Companion.make(StoreDirect.kt:57)
at org.mapdb.StoreDirect$Companion.make$default(StoreDirect.kt:56)
at org.mapdb.DBMaker$Maker.make(DBMaker.kt:450)
at me.lovegao.mapdb.hello.MapDBTransaction.main(MapDBTransaction.java:17)

最后说以下,fileDB("file3.db")这里的路径可以指定其他目录,默认是在项目的根目录下。

路径是自己创建的,文件是MapDB自动创建的,切记不要多此一举,把文件也创建了,那样会报错的。

 

以上是关于MapDB使用入门的主要内容,如果未能解决你的问题,请参考以下文章

MapDB 与常规数据库

mapdb详解

嵌入内存的NoSQL键值数据库MapDB,Java

MapDB ClassNotFoundException:kotlin.jvm.internal.Intrinsics

用 16G 内存存放 30亿数据(Java Map)转载

Kibana使用入门