java8中的HashMap

Posted 2020-11-20 __Meng

简介：

HashMap：

　　具有很快的访问速度，但遍历顺序却是不确定的。

　　HashMap最多只允许一条记录的键为null，允许多条记录的值为null。

　　HashMap非线程安全，即任一时刻可以有多个线程同时写HashMap，可能会导致数据的不一致。

　　HashMap的线程不安全主要体现在resize时的死循环及使用迭代器时的fast-fail上。

　　如果需要满足线程安全，可以用 Collections的synchronizedMap方法使HashMap具有线程安全的能力，或者使用ConcurrentHashMap。

 

Hashtable：

　　Hashtable是遗留类，与HashMap类似，不同的是它承自Dictionary类，并且是线程安全的。

　　并发性不如ConcurrentHashMap，因为ConcurrentHashMap引入了分段锁。

　　Hashtable不建议在新代码中使用，不需要线程安全的场合可以用HashMap替换，需要线程安全的场合可以用ConcurrentHashMap替换。

 

LinkedHashMap：

　　LinkedHashMap是HashMap的一个子类，保存了记录的插入顺序，在用Iterator遍历LinkedHashMap时，先得到的记录肯定是先插入的，也可以在构造时带参数，按照访问次序排序。

 

TreeMap：

　　TreeMap实现SortedMap接口，能够把它保存的记录根据键排序，默认是按键值的升序排序，也可以指定排序的比较器，

　　当用Iterator遍历TreeMap时，得到的记录是排过序的。如果使用排序的映射，建议使用TreeMap。

 

存储结构：

位桶数组：

transient Node<k,v>[] table;

 

数组元素Node<K,V>：

static class Node<K,V> implements Map.Entry<K,V> {
        final int hash;    //用来定位数组索引位置
        final K key;
        V value;
        Node<K,V> next;   //链表的下一个node

        Node(int hash, K key, V value, Node<K,V> next) { ... }
        public final K getKey(){ ... }
        public final V getValue() { ... }
        public final String toString() { ... }
        public final int hashCode() { ... }
        public final V setValue(V newValue) { ... }
        public final boolean equals(Object o) { ... }
}

 

hash冲突：

　　开放地址法：Hi=(H(key)+di) MOD m i=1,2,…,k(k<=m-1)，m为哈希表的表长。di 是产生冲突的时候的增量序列。

　　　　如果di取1，则每次冲突之后，向后移动1个位置。

　　　　如果di值可能为1,2,3,…m-1，称线性探测再散列。

　　　　如果di取值可能为1,-1,2,-2,4,-4,9,-9,16,-16,…k*k,-k*k(k<=m/2)，称二次探测再散列。

　　　　如果di取值可能为伪随机数列。称伪随机探测再散列。

　　链地址法：讲冲突的对象链在同一链表中。

　　再哈希法：当发生冲突时，使用第二个、第三个、哈希函数计算地址，直到无冲突时。

　　建立一个公共溢出区：就是把冲突的都放在另一个地方，不在表里面。

 

 

　　Java中HashMap采用了链地址法。

　　在每个数组元素上都有一个链表结构，当数据被Hash后，得到数组下标，把数据放在对应下标元素的链表上。

 

 

数据域：

public class HashMap<k,v> extends AbstractMap<k,v> implements Map<k,v>, Cloneable, Serializable {
    private static final long serialVersionUID = 362498820763181265L;
    static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16
    static final int MAXIMUM_CAPACITY = 1 << 30;//最大容量
    static final float DEFAULT_LOAD_FACTOR = 0.75f;//填充比
    //当add一个元素到某个位桶，其链表长度达到8时将链表转换为红黑树
    static final int TREEIFY_THRESHOLD = 8;
    static final int UNTREEIFY_THRESHOLD = 6;
    static final int MIN_TREEIFY_CAPACITY = 64;
    transient Node<k,v>[] table;//存储元素的数组
    transient Set<map.entry<k,v>> entrySet;
    transient int size;//存放元素的个数
    transient int modCount;//被修改的次数fast-fail机制
    int threshold;//临界值 当实际大小(容量*填充比)超过临界值时，会进行扩容 
    final float loadFactor;//填充比（......后面略）

 

　　Node<k,v>[] table的初始化长度length(默认值是16)。

　　length大小必须为2的n次方，主要是为了在取模和扩容时做优化，同时为了减少冲突。可以用hash&（len-1）的方式代替hash%len。

　　Load factor：为负载因子(默认值是0.75)。

　　threshold：是HashMap所能容纳的最大数据量的Node(键值对)个数。threshold = length * Load factor。

　　size：是HashMap中实际存在的键值对数量。

　　modCount：主要用来记录HashMap内部结构发生变化的次数，用于迭代的快速失败。（覆盖值不属于结构变化）

 

确定索引位置：

    static final int hash(Object key) {
        int h;
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    }

 

 

　　Hash算法本质上就是三步：取key的hashCode值、高位运算、取模运算。

　　高位运算：通过hashCode()的高16位异或低16位实现

　　它通过h & (table.length -1)来得到该对象的保存位，而HashMap底层数组的长度总是2的n次方，这是HashMap在速度上的优化。

　　当length总是2的n次方时，h& (length-1)运算等价于对length取模，也就是h%length，但是&比%具有更高的效率。

 

put方法：

 1 public V put(K key, V value) {
 2     return putVal(hash(key), key, value, false, true);
 3 }
 4  
 5 // 第三个参数 onlyIfAbsent 如果是 true，那么只有在不存在该 key 时才会进行 put 操作
 6 // 第四个参数 evict 我们这里不关心
 7 final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
 8                boolean evict) {
 9     Node<K,V>[] tab; Node<K,V> p; int n, i;
10     // 第一次 put 值的时候，会触发下面的 resize()，类似 java7 的第一次 put 也要初始化数组长度
11     // 第一次 resize 和后续的扩容有些不一样，因为这次是数组从 null 初始化到默认的 16 或自定义的初始容量
12     if ((tab = table) == null || (n = tab.length) == 0)
13         n = (tab = resize()).length;
14     // 找到具体的数组下标，如果此位置没有值，那么直接初始化一下 Node 并放置在这个位置就可以了
15     if ((p = tab[i = (n - 1) & hash]) == null)
16         tab[i] = newNode(hash, key, value, null);
17  
18     else {// 数组该位置有数据
19         Node<K,V> e; K k;
20         // 首先，判断该位置的第一个数据和我们要插入的数据，key 是不是"相等"，如果是，取出这个节点
21         if (p.hash == hash &&
22             ((k = p.key) == key || (key != null && key.equals(k))))
23             e = p;
24         // 如果该节点是代表红黑树的节点，调用红黑树的插值方法，本文不展开说红黑树
25         else if (p instanceof TreeNode)
26             e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
27         else {
28             // 到这里，说明数组该位置上是一个链表
29             for (int binCount = 0; ; ++binCount) {
30                 // 插入到链表的最后面(Java7 是插入到链表的最前面)
31                 if ((e = p.next) == null) {
32                     p.next = newNode(hash, key, value, null);
33                     // TREEIFY_THRESHOLD 为 8，所以，如果新插入的值是链表中的第 9 个
34                     // 会触发下面的 treeifyBin，也就是将链表转换为红黑树
35                     if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
36                         treeifyBin(tab, hash);
37                     break;
38                 }
39                 // 如果在该链表中找到了"相等"的 key(== 或 equals)
40                 if (e.hash == hash &&
41                     ((k = e.key) == key || (key != null && key.equals(k))))
42                     // 此时 break，那么 e 为链表中[与要插入的新值的 key "相等"]的 node
43                     break;
44                 p = e;
45             }
46         }
47         // e!=null 说明存在旧值的key与要插入的key"相等"
48         // 对于我们分析的put操作，下面这个 if 其实就是进行 "值覆盖"，然后返回旧值
49         if (e != null) {
50             V oldValue = e.value;
51             if (!onlyIfAbsent || oldValue == null)
52                 e.value = value;
53             afterNodeAccess(e);
54             return oldValue;
55         }
56     }
57     ++modCount;
58     // 如果 HashMap 由于新插入这个值导致 size 已经超过了阈值，需要进行扩容
59     if (++size > threshold)
60         resize();
61     afterNodeInsertion(evict);
62     return null;
63 }

 

 

　　java7中，新节点插入到链表头部，而java8是插入到链表尾部。

　　Java7是先扩容后插入新值的，Java8 先插值再扩容。

 

扩容机制：

jdk1.7代码：

 1 void resize(int newCapacity) {   //传入新的容量
 2     Entry[] oldTable = table;    //引用扩容前的Entry数组
 3     int oldCapacity = oldTable.length;         
 4     if (oldCapacity == MAXIMUM_CAPACITY) {  //扩容前的数组大小如果已经达到最大(2^30)了
 5         threshold = Integer.MAX_VALUE; //修改阈值为int的最大值(2^31-1)，这样以后就不会扩容了
 6         return;
 7     }
 8  
 9     Entry[] newTable = new Entry[newCapacity];  //初始化一个新的Entry数组
10     transfer(newTable);                         //！！将数据转移到新的Entry数组里
11     table = newTable;                           //HashMap的table属性引用新的Entry数组
12     threshold = (int)(newCapacity * loadFactor);//修改阈值
13 }

 1 void transfer(Entry[] newTable) {
 2     Entry[] src = table;                   //src引用了旧的Entry数组
 3     int newCapacity = newTable.length;
 4     for (int j = 0; j < src.length; j++) { //遍历旧的Entry数组
 5         Entry<K,V> e = src[j];             //取得旧Entry数组的每个元素
 6         if (e != null) {
 7             src[j] = null;//释放旧Entry数组的对象引用（for循环后，旧的Entry数组不再引用任何对象）
 8             do {
 9                 Entry<K,V> next = e.next;
10                 int i = indexFor(e.hash, newCapacity); //！！重新计算每个元素在数组中的位置
11                 e.next = newTable[i]; //标记[1]
12                 newTable[i] = e;      //将元素放在数组上
13                 e = next;             //访问下一个Entry链上的元素
14             } while (e != null);
15         }
16     }
17 }

 

　　newTable[i]的引用赋给了e.next，也就是使用了单链表的头插入方式，同一位置上新元素总会被放在链表的头部位置；

　　这样先放在一个索引上的元素终会被放到Entry链的尾部(如果发生了hash冲突的话），这一点和Jdk1.8有区别

　　1.7在并发情况下resize，可能会形成循环链表。

 

Jdk1.8所做的优化：

 

　　我们使用的是2次幂的扩展(指长度扩为原来2倍)，所以，元素的位置要么是在原位置，要么是在原位置再移动2次幂的位置。

　　元素在重新计算hash之后，因为n变为2倍，那么n-1的mask范围在高位多1bit(红色)，因此新的index就会发生这样的变化：

 

　　因此，我们在扩充HashMap的时候，不需要像JDK1.7的实现那样重新计算hash，只需要看看原来的hash值新增的那个bit是1还是0就好了，

　　是0的话索引没变，是1的话索引变成“原索引+oldCap（扩容前的容量）”，可以看看下图为16扩充为32的resize示意图：

 

 

　　1.8的优化，省去了hash的时间，而且扩容后，元素的顺序不会变，1.7由于用的头插法所以会倒置

 

jdk1.8的代码：

 1 final Node<K,V>[] resize() {
 2     Node<K,V>[] oldTab = table;
 3     int oldCap = (oldTab == null) ? 0 : oldTab.length;
 4     int oldThr = threshold;
 5     int newCap, newThr = 0;
 6     if (oldCap > 0) {
 7         // 超过最大值就不再扩充了，就只好随你碰撞去吧
 8         if (oldCap >= MAXIMUM_CAPACITY) {
 9             threshold = Integer.MAX_VALUE;
10             return oldTab;
11         }
12         // 没超过最大值，就扩充为原来的2倍
13         else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
14                  oldCap >= DEFAULT_INITIAL_CAPACITY)
15             newThr = oldThr << 1; // double threshold
16     }
17     else if (oldThr > 0) // initial capacity was placed in threshold
18         newCap = oldThr;
19     else {               // zero initial threshold signifies using defaults
20         newCap = DEFAULT_INITIAL_CAPACITY;
21         newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
22     }
23     // 计算新的resize上限
24     if (newThr == 0) {
25 
26         float ft = (float)newCap * loadFactor;
27         newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
28                   (int)ft : Integer.MAX_VALUE);
29     }
30     threshold = newThr;
31     @SuppressWarnings({"rawtypes"，"unchecked"})
32         Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
33     table = newTab;
34     if (oldTab != null) {
35         // 把每个bucket都移动到新的buckets中
36         for (int j = 0; j < oldCap; ++j) {
37             Node<K,V> e;
38             if ((e = oldTab[j]) != null) {
39                 oldTab[j] = null;
40                 if (e.next == null)
41                     newTab[e.hash & (newCap - 1)] = e;
42                 else if (e instanceof TreeNode)
43                     ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
44                 else { // 链表优化重hash的代码块
45                     Node<K,V> loHead = null, loTail = null;
46                     Node<K,V> hiHead = null, hiTail = null;
47                     Node<K,V> next;
48                     do {
49                         next = e.next;
50                         // 原索引
51                         if ((e.hash & oldCap) == 0) {
52                             if (loTail == null)
53                                 loHead = e;
54                             else
55                                 loTail.next = e;
56                             loTail = e;
57                         }
58                         // 原索引+oldCap
59                         else {
60                             if (hiTail == null)
61                                 hiHead = e;
62                             else
63                                 hiTail.next = e;
64                             hiTail = e;
65                         }
66                     } while ((e = next) != null);
67                     // 原索引放到bucket里
68                     if (loTail != null) {
69                         loTail.next = null;
70                         newTab[j] = loHead;
71                     }
72                     // 原索引+oldCap放到bucket里
73                     if (hiTail != null) {
74                         hiTail.next = null;
75                         newTab[j + oldCap] = hiHead;
76                     }
77                 }
78             }
79         }
80     }
81     return newTab;
82 }

 

 

小结：

　　扩容是一个特别耗性能的操作，所以当程序员在使用HashMap的时候，估算map的大小，初始化的时候给一个大致的数值，避免map进行频繁的扩容。

　　负载因子是可以修改的，也可以大于1，但是建议不要轻易修改，除非情况非常特殊。

　　HashMap是线程不安全的，不要在并发的环境中同时操作HashMap，建议使用ConcurrentHashMap。

　　JDK1.8引入红黑树大程度优化了HashMap的性能。

 

参考：https://tech.meituan.com/java-hashmap.html