Java集合分析之Map-从HashMap说起

Posted 2021-04-24 卷小毛的干货分享

严格来说，Map 并非集合，而是一个键值对的映射。但是 Map 却可以从某些角度被当作集合。Map 当中，最常用的就是 HashMap ，其余几种实现基本都和 HashMap 有关系或者原理一致。

注：本文基于jdk_1.8.0_144

部结构

总览

HashMap 的内部元素是由一个数组存放，数组类型为 HashMap.Node ，是一个链表。其中，元素所有数组的位置，由 Key 的 hashcode 决定。当然，数组长度有限，hash 值也会有碰撞，如果产生 hash 碰撞，则存于同一个数组下标中，并添加至链表。也就是说，HashMap 的内部实现是，数组+链表。另外，自 JDK1.8 ，对于同一个数组下标位置，如果链表长度过长，会将链表的二叉树转成红黑树（平衡二叉树）。即：

数组 + 链表 + 红黑树

要成员变量

主要成员变量如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

// 默认初始容量16 static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16 // 最大容量 static final int MAXIMUM_CAPACITY = 1 << 30; // 默认负载因子0.75 static final float DEFAULT_LOAD_FACTOR = 0.75f; // 链表转成红黑树的长度临界值 static final int TREEIFY_THRESHOLD = 8; // 红黑树转成链表的长度临界值 static final int UNTREEIFY_THRESHOLD = 6; // 转化红黑树的最小数组长度，数组长度太小不会转化红黑树的 static final int MIN_TREEIFY_CAPACITY = 64; // 存放链表的数组 transient Node<K,V>[] table; // 键值对数量 transient int size; // 修改次数 transient int modCount; // 扩容阀值 capacity * load factor int threshold; // 负载因子，初始化未赋值则使用 DEFAULT_LOAD_FACTOR final float loadFactor;

其中，Node 的结构如下，是一个带有 hash 值及键值对的链表：

1 2 3 4 5 6

static class Node<K,V> implements Map.Entry<K,V> {    final int hash;    final K key;    V value;    Node<K,V> next; }

当链表转化成红黑对的时候，结构如下，LinkedHashMap.Entry 是上面 Node 的子类：

1 2 3 4 5 6 7

static final class TreeNode<K,V> extends LinkedHashMap.Entry<K,V> {     TreeNode<K,V> parent;  // red-black tree links     TreeNode<K,V> left;     TreeNode<K,V> right;     TreeNode<K,V> prev;    // needed to unlink next upon deletion     boolean red; }

构造器

默认构造器会在初始化的时候，指定加载因子为默认加载因子0.75，容量为0。

1 2 3

public HashMap() {    this.loadFactor = DEFAULT_LOAD_FACTOR; }

当然，一般我们建议在初始化的时候，能根据情况指定初始容量。

1 2 3 4 5 6 7 8 9 10 11 12 13 14

public HashMap(int initialCapacity) {    this(initialCapacity, DEFAULT_LOAD_FACTOR); } public HashMap(int initialCapacity, float loadFactor) {    if (initialCapacity < 0)        throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity);    if (initialCapacity > MAXIMUM_CAPACITY)        initialCapacity = MAXIMUM_CAPACITY;    if (loadFactor <= 0 || Float.isNaN(loadFactor))        throw new IllegalArgumentException("Illegal load factor: " + loadFactor);    this.loadFactor = loadFactor;    this.threshold = tableSizeFor(initialCapacity); }

可以看出，如果指定了初始容量，会进行容量的重计算，保证初始容量是2的N次方。

1 2 3 4 5 6 7 8 9

static final int tableSizeFor(int cap) {    int n = cap - 1;    n |= n >>> 1;    n |= n >>> 2;    n |= n >>> 4;    n |= n >>> 8;    n |= n >>> 16;    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1; }

那么这个算法是怎么保证得到的是2的N次方的呢？

• 对于容量 cap ，在转化成二进制之后，总会找到第一个 1 ，如 01xxxxxx

• 在和自身右移一位做或运算之后，能保证第一个 1 的后面一位也是 1 ，这样就有连续的两位是 1 了，即 01xxxxxx | 001xxxxx = 011xxxxx

• 同理，依次做或运算之后，能保证最高是 1 的那一位之后的所有位都是 1 ，即 011xxxxx | 00011xxx = 01111xxx ，直至得到 01111111

• 最后，再进行 n + 1 就得到了大于当前数的下一个2的N次方

• 第一步的 n = cap - 1 是为了让本身是2的N次方的数，得到的结果还是自己

hash 值计算及索引定位

HashMap 在进行 put 和 get 操作时，是把键值对放至 table 数组的特定下标位。

其中索引位置是这样计算出来的：

1 2	int n = table.length int index = (n - 1) & hash

其中，hash 是将 key 通过下面的方法算出来的。

1 2 3 4

static final int hash(Object key) {    int h;    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16); }

那么问题来了，hash 值为什么要这样算？索引计算到底表示什么意义？

索引计算

通过上面我们知道，HashMap 的数组容量大小始终是2的N次方。n 表示的数组的长度，所以 n - 1 得到的二进制，后面的值一定是连续的 1 ，在与 hash 做与运算之后，得到的实际是 hash 对 n 的取余。

如，某数对16取余：

0100 1110 1101 0011
0000 0000 0000 1111
——————————
0000 0000 0000 0011

所以，(n - 1) & hash == hash % n 。当然，这是有前提的，n 必须为2的N次方。

hash 值计算

我们明明可以直接用 key.hashCode() ，为什么还要做个异或操作呢？

由于 HashMap 的 Key 的 hashCode() 方法是不确定的，所以，某些自定义类型的 Key ，有可能会得到一些尾数具有重复性的 hashcode 。这时候，将 hashcode 的高16位与低16位进行异或，就会减少 hash 碰撞。

put 操作

借用一张来自美团的图，put 流程如下：

是对照下源码来对照理解吧。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68

public V put(K key, V value) {    return putVal(hash(key), key, value, false, true); } /** * put 方法具体调用 * * @param key 计算出来的 hash 值 * @param key key * @param value value * @param onlyIfAbsent 如果true，则不替换原来的值 * @param evict LinkedHashMap 才用到. * @return 返回 null 或者替换前的值 */ final V putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict) {    Node<K,V>[] tab; Node<K,V> p; int n, i;    // table 为空或者长度为0，进行扩容操作    if ((tab = table) == null || (n = tab.length) == 0)        n = (tab = resize()).length;    // 如果当前索引位没有值，则添加新链表    if ((p = tab[i = (n - 1) & hash]) == null)        tab[i] = newNode(hash, key, value, null);      // 如果当前索引有值了，说明hash碰撞了    else {        Node<K,V> e; K k;        // p 是该索引位置的链表的第一个节点        // hash 值相等，key 又相等，说明是同一个key, 替换value        if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k))))            e = p;        // 如果是红黑树，进行红黑树的操作        else if (p instanceof TreeNode)            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);        // 不是红黑树，key 之前又不存在        else {            for (int binCount = 0; ; ++binCount) {                // p.next == null 说明是最后一个节点了                if ((e = p.next) == null) {                    p.next = newNode(hash, key, value, null);                    // 链表长度大于8，转化成红黑树操作                    // 如果tab.length 达不到 MIN_TREEIFY_CAPACITY，是不会转化的                    // -1 是因为上面已经排除了首节点了                    if (binCount >= TREEIFY_THRESHOLD - 1)                        treeifyBin(tab, hash);                    break;                }                // 在非首节点中已存在，则替换value                if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k))))                    break;                p = e;            }        }        // e 是上面操作，得到的key存在的那个节点，不为null则说明存在，已存在则替换value        if (e != null) { // existing mapping for key            V oldValue = e.value;            if (!onlyIfAbsent || oldValue == null)                e.value = value;            afterNodeAccess(e);            return oldValue;        }    }    ++modCount;    //增加size，并判断是否要扩容，size 大于扩容阀值，则要扩容    if (++size > threshold)        resize();    //这个方法在LinkedHashMap中有实现    afterNodeInsertion(evict);    return null; }

注：红黑树本文不讨论是怎么实现的，头大。

get 操作

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

public V get(Object key) {    Node<K,V> e;    return (e = getNode(hash(key), key)) == null ? null : e.value; } /** * get 方法具体调用 * * @param hash key 的 hash 值 * @param key key * @return null 或者 key 所在的节点 */ final Node<K,V> getNode(int hash, Object key) {    Node<K,V>[] tab; Node<K,V> first, e; int n; K k;    // 数组有值且指定下标位有值，这样才有可能存在，否则就返回null    if ((tab = table) != null && (n = tab.length) > 0 &&            (first = tab[(n - 1) & hash]) != null) {        // 首节点key就对了        if (first.hash == hash && ((k = first.key) == key || (key != null && key.equals(k))))            return first;        if ((e = first.next) != null) {            // 如果是红黑树，则从红黑对查找            if (first instanceof TreeNode)                return ((TreeNode<K,V>)first).getTreeNode(hash, key);            // 遍历链表所有节点查找            do {                if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k))))                    return e;            } while ((e = e.next) != null);        }    }    return null; }

这里面有个不大不小的坑，如果 key 的设计和使用不当，会引起不必要的bug：在查找数据的时候，是直接去指定下标进行查找的，如果当前索引查找不到，则返回结果为 null 。

看起来好像没毛病，那么下面这种情况呢？

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

// hashcode 有问题的类 public class User {    private String username;    private Integer age;    @Override    public int hashCode() {        return age;    } } // 测试 key 的 hash 会变 public class Test {    public static void main(String[] args) {        Map<User, String> testMap = new HashMap<User, String>();        User user = new User();        user.setUsername("Tom");        user.setAge(18);        testMap.put(user, user.getUsername() + " is a good child");        System.out.println("exists : " + testMap.get(user));        user.setAge(22);        System.out.println("exists : " + testMap.get(user));    } }

输出结果很明显，同一个 key ，后来查找不到了：

exists : Tom is a good child

exists : null

resize 扩容

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92

final Node<K,V>[] resize() {    // 旧数据的备份    Node<K,V>[] oldTab = table;    int oldCap = (oldTab == null) ? 0 : oldTab.length;    int oldThr = threshold;    int newCap, newThr = 0;      // 新数组长度与扩阀值的计算    if (oldCap > 0) {        // 数组长度不得大于定义的最大值        if (oldCap >= MAXIMUM_CAPACITY) {            threshold = Integer.MAX_VALUE;            return oldTab;        }        // 扩容2倍        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&                 oldCap >= DEFAULT_INITIAL_CAPACITY)            newThr = oldThr << 1; // double threshold    }    else if (oldThr > 0) // initial capacity was placed in threshold        newCap = oldThr;    else {               // zero initial threshold signifies using defaults        newCap = DEFAULT_INITIAL_CAPACITY;        // 扩容阀值是 数组长度 * 负载因子        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);    }    if (newThr == 0) {        // 扩容阀值是 数组长度 * 负载因子        float ft = (float)newCap * loadFactor;        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?                  (int)ft : Integer.MAX_VALUE);    }    // 至此计算出了新的扩容阀值和新数组长度    threshold = newThr;      //索引重排部分    @SuppressWarnings({"rawtypes","unchecked"})    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];    table = newTab;    if (oldTab != null) {        // 遍历数组        for (int j = 0; j < oldCap; ++j) {            Node<K,V> e;            if ((e = oldTab[j]) != null) {                // 释放旧引用                oldTab[j] = null;                // 链表只有一个节点，直接找到索引位置                if (e.next == null)                    newTab[e.hash & (newCap - 1)] = e;                // 红黑树的特殊处理，不讨论                else if (e instanceof TreeNode)                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);                // 链表有多个节点                else { // preserve order                    Node<K,V> loHead = null, loTail = null;                    Node<K,V> hiHead = null, hiTail = null;                    Node<K,V> next;                    // 遍历链表的所有节点                    do {                        next = e.next;                        // if 和 else 将原一个链表拆分为两个链表，此处是精髓，下面详解                        if ((e.hash & oldCap) == 0) {                            if (loTail == null)                                loHead = e;                            else                                loTail.next = e;                            loTail = e;                        }                        else {                            if (hiTail == null)                                hiHead = e;                            else                                hiTail.next = e;                            hiTail = e;                        }                    } while ((e = next) != null);                    // 一个链表保持原来的索引位置                    if (loTail != null) {                        loTail.next = null;                        newTab[j] = loHead;                    }                    // 一个链表放到 j + oldCap 位置                    if (hiTail != null) {                        hiTail.next = null;                        newTab[j + oldCap] = hiHead;                    }                }            }        }    }    return newTab; }

前文说的下面几点很重要：

• 存放元素的数组，容量永远是2的N次方

• 元素存放在数组中的索引位置，实际是 hash 对数组容量进行取余

• 之所以是等效于取余，是因为 hash 的尾部与 1 做 & 运算会保持原来的值

对于链表只有一个节点的情况，直接查找索引位置重定位就可以了；而如果链表有多个节点的话，难道所有的节点都重新计算一下索引位置吗？并不是这样的，按照源码可以看出是这样子的：

• 如果 (e.hash & oldCap) == 0 ，重组一个新链表 A

• 如果 (e.hash & oldCap) != 0 ，再组一个新链表 B

• 新链表 A ，索引位置是 原位置

• 新链表 B ，索引位置是 原位置 + 旧2的N次方

那么问题来了，为什么一个链表要拆成两个？为什么索引位置只有这两个位置，而不需要全部重新计算？通过上面说的几点可以解答：（ n 指扩容前数组大小）

• 数组扩容后，大小是原来的2倍，索引位置仍然是进行取余操作，只不过是对 2n取余

• 同一个数字，由对 n 取余，变成对 2n 取余后，结果要么不变，要么变了；如果变了，只有一种可能，就是加大了 n

• 什么情况下会加大 n 呢，通过前面描述的取余是与 1 对应位做与操作，oldCap是2的N次方， 可以得出结论： (e.hash & oldCap) == 0 时，说明原来的 hash 的低N位上的二进制数字是 0 ，所以索引位置不变；同理，(e.hash & oldCap) != 0，说明原来的 hash 的低N位上的数字是 1 ，新索引位置要加 oldCap 了

线程安全性

HashMap 是个非线程安全的类，所以，在多线程情况下，应尽量避免直接使用 HashMap，换成 ConcurrentHashMap 或者 Collections.synchronizedMap(hashmap) 。为什么说 HashMap 非线程安全呢？

resize() 造成死循环

参考 ：疫苗：JAVA HASHMAP的死循环

其实，这个问题在 JDK1.8 已经被修复了 。死循环的原因是 resize() 时链表的倒序引起的，但是在 JDK1.8 中，插入元素并会再插入链表头部了，resize() 时也不会倒排了。

put 时某线程被覆盖

举个例子，在上述的 put操作 部分，有一行源码如下：

1	tab[i] = newNode(hash, key, value, null);

比如，两个线程同时走到这里，分别执行此行代码，就会有一个线程的数据丢了。

modCount 相关的 fail-fast

关于 modCount ，之前的一篇文章中有提过，参考这里：modCount 是干什么的

在 Map 中也有同样的机制，在进行某些操作的时候，会检查 modCount 。如果 modCount与预期不一样，就会抛 ConcurrentModificationException 。

所以，如果同时有两个线程操作同一个 HashMap ，一个线程在遍历，一个线程在 put 。这个时候就有可能导致 modCount 校验不通过，从而引起异常。这显然不是我们想要的结果，不符合我们的预期。

总结

• HashMap 实际是 数组 + 链表 + 红黑树

• HashMap 键可以为 null ，值也可以为 null

• HashMap 在查找值的时候，是根据 key 的 hash 来确定位置的，所以，key 一定尽可能用不可变类。一旦 put 后再改变 key 的 hash ，就会出现 get 不到结果的情况

• 数组容量一定是2的N次方，默认负载因子0.75，尽量不要动

• 扩容消耗很大，所以初始化的时候尽量指定一个合适的容量

• HashMap 非线程安全，多线程下请使用 ConcurrentHashMap 或者 Collections.synchronizedMap

• JDK1.8 中引入了红黑树，在 hash 冲突高及元素数量特殊大的时候，效率高。