Java8重新认识HashMap
Posted 双斜杠少年
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Java8重新认识HashMap相关的知识，希望对你有一定的参考价值。
本文Java 版本 1.8.0_92-b14
引子
前段时间，朋友问了一道力扣算法题,求两数之和。题目是
给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。
要求
时间复杂度：O(n)
我们把包含有 nn 个元素的列表遍历两次。由于哈希表将查找时间缩短到 O(1)O(1) ，所以时间复杂度为 O(n)。
空间复杂度：O(n)
所需的额外空间取决于哈希表中存储的元素数量，该表中存储了 n 个元素。
因为需要时间复杂度O(n)所以就不能用暴力破解法，因为暴力破解两个 数组嵌套循环时间复杂度为 O(n)2 ，所以就得用别的办法
给出答案为
class Solution
public int[] twoSum(int[] nums, int target)
Map<Integer, Integer> map = new HashMap<>();
for (int i = 0; i < nums.length; i++)
Integer value = map.get(target - nums[i]);
if (null != value)
return new int[]i, value;
map.put(nums[i], i);
throw new IllegalArgumentException("No two sum solution");
我们把数组中的数据放到hash 表中一次，所以把包含有 n 个元素的列表遍历两次。由于哈希表将查找时间缩短到 O(1)，所以时间复杂度为 O(n)。
重点来了
有人说HashMap的 getNode() 方法里面还有一个循环（源代码在下面），也就还是是O(n^2), map还增加了空间复杂度和开销，还贴出了源码。我当时，有些些懵逼，因为以前总是看hashMap的原理，但是说真的没有仔细的去看过源码。所以当时有些底气不足。所以我就去看了一下源码，现在我可以去diss他了。
分析HashMap的get方法
我们都知道从结构实现来讲，HashMap是数组+链表+红黑树（JDK1.8增加了红黑树部分）实现的，如下图所示
(1) 从源码可知，HashMap类中有一个非常重要的字段，就是 Node[] table，即哈希桶数组，明显它是一个Node的数组。Node是HashMap的一个内部类，实现了Map.Entry接口，本质是就是一个映射(键值对)。上图中的每个黑色圆点就是一个Node对象
(2) HashMap就是使用哈希表来存储的。哈希表为解决冲突，可以采用开放地址法和链地址法等来解决问题，Java中HashMap采用了链地址法。链地址法，简单来说，就是数组加链表的结合。在每个数组元素上都一个链表结构，当数据被Hash后，得到数组下标，把数据放在对应下标元素的链表上。
HashMap 的核心成员:
public class HashMap<K,V> extends AbstractMap<K,V>
implements Map<K,V>, Cloneable, Serializable
// 默认容量，默认为16，必须是2的幂
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;
// 最大容量，值是2^30
static final int MAXIMUM_CAPACITY = 1 << 30
// 装载因子，默认的装载因子是0.75
static final float DEFAULT_LOAD_FACTOR = 0.75f;
// 解决冲突的数据结构由链表转换成树的阈值，默认为8
static final int TREEIFY_THRESHOLD = 8;
// 解决冲突的数据结构由树转换成链表的阈值，默认为6
static final int UNTREEIFY_THRESHOLD = 6;
/* 当桶中的bin被树化时最小的hash表容量。
* 如果没有达到这个阈值，即hash表容量小于MIN_TREEIFY_CAPACITY，当桶中bin的数量太多时会执行resize扩容操作。
* 这个MIN_TREEIFY_CAPACITY的值至少是TREEIFY_THRESHOLD的4倍。
*/
static final int MIN_TREEIFY_CAPACITY = 64;
static class Node<K,V> implements Map.Entry<K,V>
//...
// 存储数据的数组
transient Node<K,V>[] table;
// 遍历的容器
transient Set<Map.Entry<K,V>> entrySet;
// Map中KEY-VALUE的数量
transient int size;
/**
* 结构性变更的次数。
* 结构性变更是指map的元素数量的变化，比如rehash操作。
* 用于HashMap快速失败操作，比如在遍历时发生了结构性变更，就会抛出ConcurrentModificationException。
*/
transient int modCount;
// 下次resize的操作的size值。
int threshold;
// 负载因子，resize后容量的大小会增加现有size * loadFactor
final float loadFactor;
HashMap就是使用哈希表来存储的。哈希表为解决冲突，可以采用开放地址法和链地址法等来解决问题，Java中HashMap采用了链地址法。链地址法，简单来说，就是数组加链表的结合。在每个数组元素上都一个链表结构，当数据被Hash后，得到数组下标，把数据放在对应下标元素的链表上。
我们希望这个 HashMap 里面的元素位置尽量分布均匀些，尽量使得每个位置上的元素数量只有一个，那么当我们用 hash 算法求得这个位置的时候，马上就可以知道对应位置的元素就是我们要的，不用遍历链表，大大优化了查询的效率。HashMap 定位数组索引位置，直接决定了 hash 方法的离散性能。
知道大致结构我们就看 get() 方法的查询
//hashMap查询一个值
public V get(Object key)
Node<K,V> e;
return (e = getNode(hash(key), key)) == null ? null : e.value;
//方法一
static final int hash(Object key)
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
//getNode
final Node<K,V> getNode(int hash, Object key)
Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
if ((tab = table) != null && (n = tab.length) > 0 &&
(first = tab[(n - 1) & hash]) != null)
if (first.hash == hash && // always check first node
((k = first.key) == key || (key != null && key.equals(k))))
return first;
if ((e = first.next) != null)
if (first instanceof TreeNode)
return ((TreeNode<K,V>)first).getTreeNode(hash, key);
do
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
return e;
while ((e = e.next) != null);
return null;
这里的Hash算法本质上就是三步：取key的hashCode值、高位运算、取模运算
取key 的hashCode
static final int hash(Object key)
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
通过 hashCode() 的高 16 位异或低 16 位实现的：(h = k.hashCode()) ^ (h >>> 16)，主要是从速度、功效、质量来考虑的，这么做可以在数组 table 的 length 比较小的时候，也能保证考虑到高低 Bit 都参与到 Hash 的计算中（因为k.hashCode 为int 32 位所有 右移16位的话刚好是高16位到达低16位的位置并取异或操作），同时不会有太大的开销。
大家都知道上面代码里的 key.hashCode() 函数调用的是 key 键值类型自带的哈希函数，返回 int 型散列值。理论上散列值是一个 int 型，如果直接拿散列值作为下标访问 HashMap 主数组的话，考虑到 2 进制 32 位带符号的 int 表值范围从‑2147483648 到 2147483648。前后加起来大概 40 亿的映射空间。
只要哈希函数映射得比较均匀松散，一般应用是很难出现碰撞的。但问题是一个 40 亿长度的数组，内存是放不下的，HashMap 扩容之前的数组初始大小才 16。所以这个散列值是不能直接拿来用的。用之前还要先做对数组的长度取模运算，得到的余数才能用来访问数组下标。
取模
// tab = table
// n = n = tab.length
(first = tab[(n - 1) & hash]) != null)
顺便说一下，这也正好解释了为什么 HashMap 的数组长度要取 2 的整次幂。因为这样（数组长度‑1）正好相当于一个 “低位掩码”。“与” 操作的结果就是散列值的高位全部归零，只保留低位值，用来做数组下标访问。以初始长度 16 为例，16‑1=15。2 进制表示是 00000000 0000000000001111。和某散列值做 “与” 操作如下，结果就是截取了最低的四位值。
10100101 11000100 00100101
& 00000000 00000000 00001111
----------------------------------
00000000 00000000 00000101 //高位全部归零，只保留末四位
掩码计算
扰动函数
但这时候问题就来了，这样就算我的散列值分布再松散，要是只取最后几位的话，碰撞也会很严重。更要命的是如果散列本身做得不好，分布上成等差数列的漏洞，恰好使最后几个低位呈现规律性重复，就无比蛋疼。这时候 “扰动函数” 的价值就出来了，看下图。
右位移 16 位，正好是 32bit 的一半，自己的高半区和低半区做异或，就是为了混合原始哈希码的高位和低位，以此来加大低位的随机性。而且混合后的低位掺杂了高位的部分特征，这样高位的信息也被变相保留下来。
来计算该对象应该保存在table数组的哪个索引处。
此处关于& 运算不清楚的小伙伴 请移步
在JDK1.8的实现中，优化了高位运算的算法，通过hashCode()的高16位 异或 低16位实现的：(h = k.hashCode()) ^ (h >>> 16)，主要是从速度、功效、质量来考虑的，这么做可以在数组table的length比较小的时候，也能保证考虑到高低Bit都参与到Hash的计算中，同时不会有太大的开销。
解答
此时就可以解答上面同学的 问题， 在进入 while ((e = e.next)之前 已经通过 first = tab[(n - 1) & hash]) != null得到了该对象应该保存在table数组的哪个索引处。所以没有进行遍历，while ((e = e.next)只是在链表长度大于1的时候进行向后寻找。
分析HashMap的put方法
HashMap的put方法执行过程可以通过下图来理解，自己有兴趣可以去对比源码更清楚地研究学习。
- ①.判断键值对数组table是否为空或为null，否则执行resize()进行扩容；
- ②.根据键值key计算hash值得到插入的数组索引i，如果table[i]==null，直接新建节点添加，转向⑥，如果table[i]不为空，转向③；
- ③.判断table[i]的首个元素是否和key一样，如果相同直接覆盖value，否则转向④，这里的相同指的是hashCode以及equals；
- ④.判断table[i] 是否为treeNode，即table[i] 是否是红黑树，如果是红黑树，则直接在树中插入键值对，否则转向⑤；
- ⑤.遍历table[i]，判断链表长度是否大于8，大于8的话把链表转换为红黑树，在红黑树中执行插入操作，否则进行链表的插入操作，放入链表尾部；遍历过程中若发现key已经存在直接覆盖value即可；
- ⑥.插入成功后，判断实际存在的键值对数量size是否超多了最大容量threshold，如果超过，进行扩容。
public V put(K key, V value)
//进行key的hash
return putVal(hash(key), key, value, false, true);
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict)
Node<K,V>[] tab; Node<K,V> p; int n, i;
if ((tab = table) == null || (n = tab.length) == 0)
//步骤1如果table为空则创建
n = (tab = resize()).length;
if ((p = tab[i = (n - 1) & hash]) == null)
//计算数组下标，并处理null
tab[i] = newNode(hash, key, value, null);
else
Node<K,V> e; K k;
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
//节点存在则直接覆盖
e = p;
else if (p instanceof TreeNode)
//如果是红黑树则插入节点
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else
//链表结构
for (int binCount = 0; ; ++binCount)
if ((e = p.next) == null)
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
//链表长度大于8 则转换为红黑树处理
treeifyBin(tab, hash);
break;
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
//hash相同，key相同，直接返回
break;
p = e;
if (e != null) // existing mapping for key
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
//存在key 且需要修改原来的值，则放入新的值
e.value = value;
afterNodeAccess(e);
return oldValue;
++modCount;
if (++size > threshold)
//步骤6容量超过最大容量扩容
resize();
afterNodeInsertion(evict);
return null;
扩容机制
扩容(resize)就是重新计算容量，向HashMap对象里不停的添加元素，而HashMap对象内部的数组无法装载更多的元素时，对象就需要扩大数组的长度，以便能装入更多的元素。当然Java里的数组是无法自动扩容的，方法是使用一个新的数组代替已有的容量小的数组，就像我们用一个小桶装水，如果想装更多的水，就得换大水桶。
扩容后位置
HashMap 的扩容机制用的很巧妙，以最小的性能来完成扩容。扩容后的容量就变成了变成了之前容量的 2 倍，初始容量为 16，所以经过 rehash 之后，元素的位置要么是在原位置，要么是在原位置再向高下标移动上次容量次数的位置，也就是说如果上次容量是 16，下次扩容后容量变成了 16+16，如果一个元素在下标为 7 的位置，下次扩容时，要不还在 7 的位置，要不在 7+16 的位置。
扩容时会将新的数组的长度扩容为原来的两倍，在旧数组中同一条Entry链上的元素，通过重新计算索引位置后，有可能被放到了数组原位置或（原位置+原容量）的位置。
分析
我们下面来解释一下 Java8 的扩容机制，由于上面我们已经知道HashMap是取hash 结果和数组长度进行与运速的(n - 1) & hash，那么我们来推演一下扩容后的计算
扩容前
n = 16
n-1 = 15 000000000 00000000 0000000 0000 1111
hash1(key1) 00000000 00000000 00000000 0000 0101 -> 存储在 0101
hash1(key2) 00000000 00000000 00000000 0001 0101 -> 存储在 0101
扩容后
n = 32
n-1 = 31 00000000 00000000 00000000 0001 1111
hash1(key1) 00000000 00000000 00000000 0000 0101 -> 存储在 00101
hash1(key2) 00000000 00000000 00000000 0001 0101 -> 存储在 10101
元素在重新计算 hash 之后，因为 n 变为 2 倍，那么 n-1 的 mask 范围在高位多 1bit。所以就分散在原来位置和 （原位置+原容量）的位置了
因此，我们在扩充 HashMap 的时候，不需要像 JDK1.7 的实现那样重新计算 hash，只需要看看原来的 hash 值新增的那个 bit 是 1 还是 0 就好了，是 0 的话索引没变，是 1 的话索引变成 “原索引 + oldCap”，可以看看下图为 16 扩充为 32 的 resize 示意图：
这个设计确实非常的巧妙，既省去了重新计算 hash 值的时间，而且同时，由于新增的 1bit 是 0 还是 1 可以认为是随机的，因此 resize 的过程，均匀的把之前的冲突的节点分散到新的 bucket 了。这一块就是 JDK1.8 新增的优化点。有一点注意区别，JDK1.7 中 rehash 的时候，旧链表迁移新链表的时候，如果在新表的数组索引位置相同，则链表元素会倒置，但是从上图可以看出，JDK1.8 不会倒置。
下面是 JDK1.8 的 resize 源码
final Node<K,V>[] resize()
Node<K,V>[] oldTab = table;
int oldCap = (oldTab == null) ? 0 : oldTab.length;
int oldThr = threshold;
int newCap, newThr = 0;
// 计算新的容量值和下一次要扩展的容量
if (oldCap > 0)
// 超过最大值就不再扩充了，就只好随你碰撞去吧
if (oldCap >= MAXIMUM_CAPACITY)
threshold = Integer.MAX_VALUE;
return oldTab;
// 没超过最大值，就扩充为原来的2倍
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY) //此处将新的数据大小改为原来的2倍
newThr = oldThr << 1; // double threshold
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
else // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
// 计算新的resize上限
if (newThr == 0)
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
threshold = newThr;
@SuppressWarnings("rawtypes","unchecked")
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab;
if (oldTab != null)
// 把每个bucket都移动到新的buckets中
for (int j = 0; j < oldCap; ++j)
Node<K,V> e;
//如果位置上没有元素，直接为null
if ((e = oldTab[j]) != null)
oldTab[j] = null;
//如果只有一个元素，新的hash计算后放入新的数组中
if (e.next == null)
//原数组位置链表长度为1，则原链表的 hash 值与新的长度取模，获取在新数组中的位置
newTab[e.hash & (newCap - 1)] = e;
//如果是树状结构，使用红黑树保存
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
//如果是链表形式，保留node
else
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do
next = e.next;
hash碰撞后高位为0，放入低Hash值的链表中
if ((e.hash & oldCap) == 0)
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
//hash碰撞后高位为1，放入高Hash值的链表中
else
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
while ((e = next) != null);
// 低hash值的链表放入数组的原始位置
if (loTail != null)
loTail.next = null;
newTab[j] = loHead;
// 高hash值的链表放入数组的原始位置 + 原始容量
if (hiTail != null)以上是关于Java8重新认识HashMap的主要内容，如果未能解决你的问题，请参考以下文章