8-java安全基础——HashSet,HashMap源码分析
Posted songly_
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了8-java安全基础——HashSet,HashMap源码分析相关的知识,希望对你有一定的参考价值。
HashSet集合
set接口和list接口一样是collection接口的子接口,set接口的元素是无序的(添加和取出顺序不一致),没有索引,不允许重复元素,HashSet集合实现了set接口,也具有set接口的特点。
来看一个HashSet的示例程序:
public class CollectionTest3
public static void main(String[] args)
HashSet hashSet = new HashSet()
hashSet.add("hello");
hashSet.add("world");
hashSet.add("java");
hashSet.add(new Student("zhangsan"));
hashSet.add(new Student("zhangsan"));
hashSet.add(new String("wangwu"));
hashSet.add(new String("wangwu"));
System.out.println(hashSet);
程序输出结果:
HashSet集合不允许重复的元素,为什么第二个Student对象能添加进去,第二个String对象又不能添加进去?我们来分析HashSet底层是如何添加元素的。
当调用HashSet的无参构造创建hashSet集合时,构造器内部会创建一个HashMap
public HashSet()
map = new HashMap<>();
HashMap同样也会调用无参构造器设置装填因子(DEFAULT_LOAD_FACTOR = 0.75f)
public HashMap()
this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
hashSet集合调用add方法添加元素hello时,通过map属性调用了put方法,参数e就是传入的元素hello,参数PRESENT是一个Object对象。
public boolean add(E e)
return map.put(e, PRESENT)==null;
参数PRESENT是一个final的Object类型的对象,其定义如下:
private static final Object PRESENT = new Object();
map属性是一个HashMap类型,也就是说HashSet集合底层实际上是调用了HashMap的put方法
private transient HashMap<E,Object> map;
参数value就是hashSet传入的参数PRESENT,该参数在hashSet中主要是起到一个占位作用,参数key就是传入的元素hello,在调用putVal方法之前,会先调用hash方法计算key的hash值。
public V put(K key, V value)
return putVal(hash(key), key, value, false, true);
hash方法首先会判断如果key为null直接返回hash值为0,如果key不为null就调用hashCode方法计算key的hash值然后无符号右移16位得到最终的哈希值。
static final int hash(Object key)
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
得到key的哈希值后接着调用putVal方法添加元素,putVal方法内部实现比较复杂
final V putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict)
//定义辅助变量
Node<K,V>[] tab; Node<K,V> p; int n, i;
//判断是否为第一次添加元素
if ((tab = table) == null || (n = tab.length) == 0)
//调用resize方法初始化table
n = (tab = resize()).length;
if ((p = tab[i = (n - 1) & hash]) == null)
tab[i] = newNode(hash, key, value, null);
else
Node<K,V> e; K k;
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else
for (int binCount = 0; ; ++binCount)
if ((e = p.next) == null)
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
if (e != null) // existing mapping for key
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e);
return oldValue;
++modCount;
if (++size > threshold)
resize();
afterNodeInsertion(evict);
return null;
putVal方法用到了一个table属性,该属性在HashMap中是一个Node类型的数组,用于存储要添加的元素,具体定义如下
transient Node<K,V>[] table;
Node是HashMap中的一个静态内部类,其定义如下:
static class Node<K,V> implements Map.Entry<K,V>
//key的哈希值
final int hash;
//添加的key
final K key;
//添加的value
V value;
//下一个要添加的元素
Node<K,V> next;
HashMap每次put添加元素都会以Node类型进行存储,next引用会指向下一个添加的元素。
putVal方法会判断是否为第一次添加元素,如果是第一次添加元素那么table此刻的内容为空就调用resize方法初始化table数组
final Node<K,V>[] resize()
Node<K,V>[] oldTab = table;
int oldCap = (oldTab == null) ? 0 : oldTab.length;
int oldThr = threshold;
int newCap, newThr = 0;
//判断table是否不为空
if (oldCap > 0)
if (oldCap >= MAXIMUM_CAPACITY)
threshold = Integer.MAX_VALUE;
return oldTab;
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
else // zero initial threshold signifies using defaults
//table数组的初始化默认容量16
newCap = DEFAULT_INITIAL_CAPACITY;
//指定table数组的临界值newThr
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
if (newThr == 0)
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
threshold = newThr;
@SuppressWarnings("rawtypes","unchecked")
//然后根据newCap指定的容量进行扩容
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
//将扩容后的newTab给table
table = newTab;
if (oldTab != null)
for (int j = 0; j < oldCap; ++j)
Node<K,V> e;
if ((e = oldTab[j]) != null)
oldTab[j] = null;
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do
next = e.next;
if ((e.hash & oldCap) == 0)
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
else
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
while ((e = next) != null);
if (loTail != null)
loTail.next = null;
newTab[j] = loHead;
if (hiTail != null)
hiTail.next = null;
newTab[j + oldCap] = hiHead;
//返回扩容后的table
return newTab;
resize方法首先判断table数组的容量,如果table容量为0会初始化table数组的容量newCap,newThr表示table数组扩容的临界值,当table数组的容量达到newThr临界值时就会进行扩容,临界值是通过装载因子和默认容量计算出来的(即0x75 * 16 = 12),然后根据newCap指定的容量进行扩容,table数组的容量就会初始化为16,然后将newTab赋值给table并返回。
table数组的容量newCap的值16是怎么计算出来的?
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;
DEFAULT_INITIAL_CAPACITY表示默认的容量大小,其值是通过左移4位获得的,也就是2的4次方。
再返回到putVal方法中继续分析
//根据hash值计算出存储的索引位置并判断该位置是否为空
if ((p = tab[i = (n - 1) & hash]) == null)
//存储key
tab[i] = newNode(hash, key, value, null);
else
//p不为空,说明table[i]已经存储其他元素
Node<K,V> e; K k;
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else
for (int binCount = 0; ; ++binCount)
if ((e = p.next) == null)
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
//e不为空,说明元素(key)重复
if (e != null) // existing mapping for key
V oldValue = e.value;
//这里会对value覆盖
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e);
//返回oldValue说明添加元素失败
return oldValue;
//集合修改次数+1
++modCount;
//table数组的size也+1
if (++size > threshold)
//是否超过临界值
resize();
//空方法
afterNodeInsertion(evict);
//返回null
return null;
resize方法初始化完table数组后,putVal方法会根据key的hash值计算出元素存储的索引位置i,说白了就是计算key应该存储在table数组中的哪个位置,然后判断这个位置是否为空,如果为空把key存放到Node中并存储到table[i]的位置,然后modCount就会+1,然后table数组的size也会加1,并判断table数组中的size是否超过threshold临界值,如果超过了就会再次调用resize方法进行扩容,接着调用了一个空方法,afterNodeInsertion内部为空。
hashset集合第一次调用add方法添加元素hello就会以Node对象进行存储,其中value的内容就是PRESENT参数的object对象:
hashMap中的元素存储的索引位置是通过hash函数计算出来的,换句话说,key的hash值可以决定元素存储的位置,有同学可能会问为什么要计算hash值?其主要目的是为了让添加的元素存储分布更均匀。
tab[i = (n - 1) & hash]
&符号是一个位运算符, (n - 1) & hash相当于15 & 99163451,结果就是11。
这里解释一下hash方法在计算hash值为什么要右移16位?其实主要是为了减少哈希冲突的可能性,防止出现计算出重复的索引位置。
什么情况下会出现哈希冲突?当重复添加同一元素就会出现哈希冲突,如下所示:
table数组中已经添加了一个hello元素,当HashMap再次put添加一个hello元素时,hash方法依然会根据key计算hash值还是99163451,两个元素计算出来的哈希值一样就是哈希冲突,那么(n - 1) & hash计算出来的索引位置仍然还是11,p还是会指向table[11],由于table[11]已经存储了元素,此时p不为null,putVal方法就会执行else语句。
putVal方法中如果出现哈希冲突会分为以下三种情况,如下所示
先说第一种情况(if):由于p指向的table[11]已经存储了其他元素,if语句首先会通过==符号判断两个元素的hash值是否一样,接着继续判断两个元素是否为同一对象,注意这个key.equals方法会根据参数key的数据类型进行绑定,因此并不能简单的认为equals方法就是比较内容或者对象引用,而是要根据传入的参数key的数据类型来判断,634行代码的if判断如果满足条件说明是添加一个重复的元素,接着将p赋值给e,然后继续判断如果e不为null说明新添加的元素是一个重复元素(key相同),因此这里会把之前添加的元素的value的内容做一个覆盖,然后调用一个空方法afterNodeAccess,再返回oldValue 。
最终会返回到HashSet集合的add方法中并判断map.put方法的返回结果,如果不返回null说明添加失败
public boolean add(E e)
return map.put(e, PRESENT)==null;
关于第一种情况中的equals方法,来看一个示例你就会明白了:
public class CollectionTest4
public static void main(String[] args)
System.out.println("=======Student======");
Student st1 = new Student("lisi");
Student st2 = new Student("lisi");
System.out.println(st1 == st2);
System.out.println(st1.equals(st2));
System.out.println("=======String=======");
String string1 = new String("zhangsan");
String string2 = new String("zhangsan");
System.out.println(string1 == string2);
System.out.println(string1.equals(string2));
程序输出结果如下:
Student对象会调用Object父类的equals方法进行比较,而Object类的equals方法默认是比较对象的引用,因此st1和st2是两个不同的对象。而String类的equals方法默认是比较对象的内容,也就是说string1.equals(string2)相当于 "zhangsan".equals("zhangsan"),结果肯定返回true,所以程序认为string1和string2是同一对象。
当Student对象重写了Object类的equals方法后就可以自定义比较的规则,putVal方法的key调用equals方法时就会调用Student对象的equals方法判断。
package com.test;
import java.util.HashSet;
/**
* @auther songly_
* @data 2021/7/26 21:06
*/
class Student
private String name;
public Student(String name)
this.name = name;
@Override
public String toString()
return "Student" +
"name='" + name + '\\'' +
'';
@Override
public boolean equals(Object o)
Student student = (Student) o;
if(this.name == student.name)
return true;
return false;
@Override
public int hashCode()
return name != null ? name.hashCode() : 0;
public class CollectionTest3
public static void main(String[] args)
HashSet hashSet = new HashSet();
hashSet.add("hello");
hashSet.add("hello");
hashSet.add("java");
hashSet.add(new Student("zhangsan"));
hashSet.add(new Student("zhangsan"));
hashSet.add(new String("wangwu"));
hashSet.add(new String("wangwu"));
System.out.println(hashSet);
重写equals方法后,程序执行结果:
从程序结果来看,hashMap底层添加元素时判断重复元素的规则是可以自定义的。
第二种情况(else if):判断p指向的table元素是否为红黑树,满足条件则调用putTreeVal方法进行添加(树化的具体实现过于复杂,这里就不深入分析了)。
第三种情况(else ):说明p指向的table元素是一个Node类型的链表,然后循环遍历链表进行比较,如下所示:
//循环遍历链表
for (int binCount = 0; ; ++binCount)
//链表头结点next为空直接添加元素并结束循环
if ((e = p.next) == null)
//添加元素
p.next = newNode(hash, key, value, null);
//是否转化红黑树
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
//头结点的next是否为重复元素
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
//移动到下一个结点
p = e;
首先判断p指向的节点next引用是否为null,如果满足条件则直接把新的Node节点(添加的元素)添加到链表,然后判断链表的节点个数是否超过8,如果满足条件则转化为红黑树并结束循环。如果不满足条件,判断next引用指向的节点如果为重复元素则跳出循环(然后653行的if会判断e如果不为null就对重复元素的value进行覆盖),否则就移动到下一个节点继续判断。
table数组中的每个table[i]元素都可以是一个Node类型的链表,并且每个链表最多可以存储8个Node节点,以table[i]元素举例,如下所示:
hashSet集合中每次调用add方法添加的元素最终都是以Node类型的形式存储在table数组中table[i]元素中,并且table[i]元素中最多只能有8个Node节点,这里需要注意一点:size属性不是记录table数组的大小,而是记录table数组的Node节点的个数。
当链表的节点个数超过TREEIFY_THRESHOLD(8)指定个数就会调用treeifyBin方法将链表转化为树结构
final void treeifyBin(Node<K,V>[] tab, int hash)
int n, index; Node<K,V> e;
//判断table数组是否需要扩容
if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
//扩容
resize();
else if ((e = tab[index = (n - 1) & hash]) != null)
TreeNode<K,V> hd = null, tl = null;
do
//转化成树结构
TreeNode<K,V> p = replacementTreeNode(e, null);
if (tl == null)
hd = p;
else
p.prev = tl;
tl.next = p;
tl = p;
while ((e = e.next) != null);
if ((tab[index] = hd) != null)
hd.treeify(tab);
如果table数组为空或者table数组的容量小于MIN_TREEIFY_CAPACITY(64)就调用resize方法进行扩容,即便table数组中某个元素(链表)的节点个数超过8个也不会进行树的转化,只有当table数组的容量为64时,并且某个元素的节点个数也超过8,同时满足这两个条件才会调用replacementTreeNode方法转化成树。
还是通过一个示例程序来验证这一点,为了方便演示,重写了TestA类的hashCode方法,这样元素都会添加到一个链表中
package com.test;
import java.util.HashMap;
import java.util.Map;
import java.util.Set;
/**
* @auther songly_
* @data 2021/7/28 19:36
*/
public class CollectionTest5
public static void main(String[] args)
HashMap hashMap = new HashMap();
for (int i = 0; i < 12; i++)
hashMap.put(new TestA(i) , i);
class TestA
int num;
public TestA(int num)
this.num = num;
@Override
public int hashCode()
return 100;
当链表的Node节点超过8个就会调用treeifyBin方法进行转换成树结构
treeifyBin方法会进一步判断table数组的容量是否超过64,如果没有超过64就先调用resize方法以2倍扩容到32,因此当添加第10个元素时仍然还是先扩容到64
当添加完第11个元素时,链表(table[4])就会调用replacementTreeNode方法转化成二叉树结构,并且树的存储索引位置已经改变成了table[36]
现在我们继续分析resize方法的扩容机制,当hashSet集合中table数组的size等于12,putVal方法中对size先加1再判断是否超过threshold临界值,如果超过则调用resize()方法进行扩容。
final Node<K,V>[] resize()
Node<K,V>[] oldTab = table;
//记录table数组容量
int oldCap = (oldTab == null) ? 0 : oldTab.length;
//记录临界值
int oldThr = threshold;
int newCap, newThr = 0;
if (oldCap > 0)
//如果table数组容量超过MAXIMUM_CAPACITY就不允许扩容
if (oldCap >= MAXIMUM_CAPACITY)
threshold = Integer.MAX_VALUE;
return oldTab;
//判断table数组容量是否超过16,如果超过才会指定扩容为newCap
//此时oldCap为16,左移1位oldCap为32,然后将oldCap赋值给扩容的容量newCap
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
//更新临界值oldThr(左移1位就是24)
newThr = oldThr << 1; // double threshold
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
else // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
//判断扩容的容量是否为0
if (newThr == 0)
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
//然后更新临界值为24
threshold = newThr;
@SuppressWarnings("rawtypes","unchecked")
//根据容量newCap进行扩容,以2倍进行扩容
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
//将扩容的newTab数组重新赋值给table
//执行这一步时table数组容量会扩容到32
table = newTab;
//将旧的table数组的数据拷贝到新的newTab数组中
//实现较复杂
if (oldTab != null)
//循环遍历旧的table数组每个元素
for (int j = 0; j < oldCap; ++j)
Node<K,V> e;
if ((e = oldTab[j]) != null)
oldTab[j] = null;
//旧数组中的元素是否只有一个节点
if (e.next == null)
//将节点拷贝到新数组中
newTab[e.hash & (newCap - 1)] = e;
//判断节点是否转化成树
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do
next = e.next;
if ((e.hash & oldCap) == 0)
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
else
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
while ((e = next) != null);
if (loTail != null)
loTail.next = null;
newTab[j] = loHead;
if (hiTail != null)
hiTail.next = null;
newTab[j + oldCap] = hiHead;
//返回新的newTab数组
return newTab;
resize方法总结:当table数组中的size(Node节点个数)等于临界值的话,那么每次扩容都会以2倍进行扩容,例如当前临界值为12,当table数组中size达到12的话,那么扩容就会以2倍扩容(newCap = oldCap << 1),table数组的容量会更新到32(table = newTab),并更新临界值为原来的2倍( newThr = oldThr << 1)。
HashMap总结:
1. HashMap底层维护了一个Node类型的table数组,默认初始为一个空数组
2. 当创建对象时会将负载因子初始化为0.75
3. 当添加key-value键值对元素时,通过计算key的哈希值得到table数组的索引,然后判断该索引位置是否有元素。如果没有元素直接添加,如果该索引处有元素,如果有元素会出现以下三种情况
- 继续判断该元素的key和要加入的key是否重复,如果重复则直接替换val;
- 如果不重复就进一步判断该元素的数据结构是否为树,然后遍历树的每个Node节点并判断是否重复,如果不重复则添加元素,重复则结束循环,然后替换val
- 是否为链表,然后链表的每个Node节点并判断是否重复,如果不重复则添加元素,重复则结束循环,然后替换val。
以上三种情况中任意一种情况执行结束后,table数组的size会+1并判断size是否不小于临界值,是否需要扩容。
4. table数组第一次扩容时,table数组默认容量为16,临界值为12(0.75 * 16)
5. table数组第二次扩容以原来的2倍进行扩容,并且临界值更新为原来的2倍,此后table数组每次扩容都以此类推
6. 在JDK8中如果table数组的table[i]链表(元素)的Node节点个数为TREEIFY_THRESHOLD并且table数组的容量为MIN_TREEIFY_CAPACITY,那么该链表就会转化为树结构
HashMap集合的遍历机制分析
Map接口是用于保存key - value这种具有映射关系的数据(key-value也称为键值对),并且键值对中的key不可重复,一个key只能映射到一个value,HashMap集合实现了Map接口,底层也是存储key - value键值对的数据,本次继续分析HashMap底层是如何遍历元素的。
示例程序如下:
public class CollectionTest5
public static void main(String[] args)
HashMap hashMap = new HashMap();
hashMap.put("刘备","蜀汉");
hashMap.put("孙权" , "东吴");
hashMap.put("曹操" , "北魏");
//遍历hashMap集合
Set<Map.Entry<String, String>> entrySet = hashMap.entrySet();
for (Map.Entry<String, String> entry : entrySet)
String key = entry.getKey();
String value = entry.getValue();
System.out.println(key + "----" + value);
这里抛出一个问题:为什么HashMap在遍历元素时是通过EntrySet来遍历元素,而不是直接使用Node?
通过分析源码发现EntrySet实现了Set接口是一个set集合,并且集合中的元素的数据类型为Map.Entry<K,V>
public Set<Map.Entry<K,V>> entrySet()
//set集合
Set<Map.Entry<K,V>> es;
return (es = entrySet) == null ? (entrySet = new EntrySet()) : es;
继续跟进发现Map.Entry<K,V>是一个接口,而Node类实现了接口,如下所示:
根据Map.Entry接口中定义的方法可以知道HashMap集合使用Map.Entry遍历元素实际上底层还是使用的Node遍历,只不过HashMap为了方便遍历元素使用了Map.Entry对Node进行了封装。
我们可以通过一个程序示例来验证这一点:
上面这个示例程序往hashMap集合中添加了三个key-value元素,然后使用entrySet遍历元素的时候,获取了entrySet中的每一个entry的运行类型,发现entry的运行类型还是Node类型。
总结:
JDK7中HashMap底层的数据结构为数组 + 链表,JDK1.8中HashMap底层的数据结构为数组(table数组) + 链表(Node) + 红黑树(Node链表转换为树),并且HashMap的put方法没有同步(synchronized),因此HashMap是一个线程不安全的集合,HashSet底层也是使用的HashMap。
以上是关于8-java安全基础——HashSet,HashMap源码分析的主要内容,如果未能解决你的问题,请参考以下文章