(转)JAVA HashSet 去除重复值原理

Posted 2020-11-06 Dar_Alpha

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了(转)JAVA HashSet 去除重复值原理相关的知识，希望对你有一定的参考价值。

Java中的set是一个不包含重复元素的集合，确切地说，是不包含e1.equals(e2)的元素对。Set中允许添加null。Set不能保证集合里元素的顺序。

在往set中添加元素时，如果指定元素不存在，则添加成功。也就是说，如果set中不存在(e==null ? e1==null : e.queals(e1))的元素e1,则e1能添加到set中。

下面以set的一个实现类HashSet为例，简单介绍一下set不重复实现的原理：

package com.darren.test.overide;
public class CustomString {
private String value;
public CustomString() {
this("");
}
public CustomString(String value) {
this.value = value;
}
}

package com.darren.test.overide;

public class CustomString {
    private String value;

    public CustomString() {
        this("");
    }

    public CustomString(String value) {
        this.value = value;
    }
}

[java] view plain copy print ?

package com.darren.test.overide;
import java.util.HashSet;
import java.util.Set;
public class HashSetTest {
public static void main(String[] args) {
String a = new String("A");
String b = new String("A");
CustomString c = new CustomString("B");
CustomString d = new CustomString("B");
System.out.println("a.equals(b) == " + a.equals(b));
System.out.println("c.equals(d) == " + c.equals(d));
Set<Object> set = new HashSet<Object>();
set.add(a);
set.add(b);
set.add(c);
set.add(d);
System.out.println("set.size() == " + set.size());
for (Object object : set) {
System.out.println(object);
}
}
}

package com.darren.test.overide;

import java.util.HashSet;
import java.util.Set;

public class HashSetTest {
    public static void main(String[] args) {
        String a = new String("A");
        String b = new String("A");
        
        CustomString c = new CustomString("B");
        CustomString d = new CustomString("B");
        
        System.out.println("a.equals(b) == " + a.equals(b));
        System.out.println("c.equals(d) == " + c.equals(d));
        
        Set<Object> set = new HashSet<Object>();
        set.add(a);
        set.add(b);
        set.add(c);
        set.add(d);
        
        System.out.println("set.size() == " + set.size());
        
        for (Object object : set) {
            System.out.println(object);
        }
    }
}

运行结果如下：

[plain] view plain copy print ?

a.equals(b) == true
c.equals(d) == false
set.size() == 3
[email protected]
A
[email protected]

a.equals(b) == true
c.equals(d) == false
set.size() == 3
[email protected]
A
[email protected]

也许你已经看出关键来了，没错就是equals方法。这么说还是不恰当，准确的说应该是equals和hashcode方法。为什么这么说呢，让我们改一改CustomString类在进行测试：

[java] view plain copy print ?

package com.darren.test.overide;
public class CustomString {
private String value;
public CustomString() {
this("");
}
public CustomString(String value) {
this.value = value;
}
@Override
public boolean equals(Object obj) {
if (this == obj) {
return true;
} else if (obj instanceof CustomString) {
CustomString customString = (CustomString) obj;
return customString.value.equals(value);
} else {
return false;
}
}
}

package com.darren.test.overide;

public class CustomString {
    private String value;

    public CustomString() {
        this("");
    }

    public CustomString(String value) {
        this.value = value;
    }

    @Override
    public boolean equals(Object obj) {
        if (this == obj) {
            
            return true;
        } else if (obj instanceof CustomString) {
            CustomString customString = (CustomString) obj;
            
            return customString.value.equals(value);
        } else {
            
            return false;
        }
    }
}

测试结果：

[html] view plain copy print ?

a.equals(b) == true
c.equals(d) == true
set.size() == 3
[email protected]
A
[email protected]

a.equals(b) == true
c.equals(d) == true
set.size() == 3
[email protected]
A
[email protected]

这次的equals返回值都为true，但是set的size还是3

让我们继续改

[java] view plain copy print ?

package com.darren.test.overide;
public class CustomString {
private String value;
public CustomString() {
this("");
}
public CustomString(String value) {
this.value = value;
}
@Override
public int hashCode() {
// return super.hashCode();
return 1;
}
}

package com.darren.test.overide;

public class CustomString {
    private String value;

    public CustomString() {
        this("");
    }

    public CustomString(String value) {
        this.value = value;
    }

    @Override
    public int hashCode() {
        // return super.hashCode();
        return 1;
    }
}

再看结果：

[plain] view plain copy print ?

a.equals(b) == true
c.equals(d) == false
set.size() == 3
[email protected]
[email protected]
A

a.equals(b) == true
c.equals(d) == false
set.size() == 3
[email protected]
[email protected]
A

只重写hashCode方法，不重写equals方法也不行

最后再改一改

[java] view plain copy print ?

package com.darren.test.overide;
public class CustomString {
private String value;
public CustomString() {
this("");
}
public CustomString(String value) {
this.value = value;
}
@Override
public boolean equals(Object obj) {
if (this == obj) {
return true;
} else if (obj instanceof CustomString) {
CustomString customString = (CustomString) obj;
return customString.value.equals(value);
} else {
return false;
}
}
@Override
public int hashCode() {
// return super.hashCode();
return 1;
}
}

package com.darren.test.overide;

public class CustomString {
    private String value;

    public CustomString() {
        this("");
    }

    public CustomString(String value) {
        this.value = value;
    }

    @Override
    public boolean equals(Object obj) {
        if (this == obj) {

            return true;
        } else if (obj instanceof CustomString) {
            CustomString customString = (CustomString) obj;

            return customString.value.equals(value);
        } else {

            return false;
        }
    }

    @Override
    public int hashCode() {
        // return super.hashCode();
        return 1;
    }
}

最后结果：

[plain] view plain copy print ?

a.equals(b) == true
c.equals(d) == true
set.size() == 2
[email protected]
A

a.equals(b) == true
c.equals(d) == true
set.size() == 2
[email protected]
A

可以了，证明需要重写equals方法和hashCode方法，来看原理：

java.lnag.Object中对hashCode的约定：

1. 在一个应用程序执行期间，如果一个对象的equals方法做比较所用到的信息没有被修改的话，则对该对象调用hashCode方法多次，它必须始终如一地返回同一个整数。

2. 如果两个对象根据equals(Object o)方法是相等的，则调用这两个对象中任一对象的hashCode方法必须产生相同的整数结果。

3. 如果两个对象根据equals(Object o)方法是不相等的，则调用这两个对象中任一个对象的hashCode方法，不要求产生不同的整数结果。但如果能不同，则可能提高散列表的性能。

在HashSet中，基本的操作都是有HashMap底层实现的，因为HashSet底层是用HashMap存储数据的。当向HashSet中添加元素的时候，首先计算元素的hashcode值，然后用这个（元素的hashcode）%（HashMap集合的大小）+1计算出这个元素的存储位置，如果这个位置位空，就将元素添加进去；如果不为空，则用equals方法比较元素是否相等，相等就不添加，否则找一个空位添加。

如下是HashSet的部分源码：

[java] view plain copy print ?

package java.util;
public class HashSet<E> extends AbstractSet<E>
implements Set<E>, Cloneable, java.io.Serializable
{
static final long serialVersionUID = -5024744406713321676L;
// 底层使用HashMap来保存HashSet中所有元素。
private transient HashMap<E,Object> map;
// 定义一个虚拟的Object对象作为HashMap的value，将此对象定义为static final。
private static final Object PRESENT = new Object();
/**
* 默认的无参构造器，构造一个空的HashSet。
*
* 实际底层会初始化一个空的HashMap，并使用默认初始容量为16和加载因子0.75。
*/
public HashSet() {
map = new HashMap<E,Object>();
}
/**
* 构造一个包含指定collection中的元素的新set。
*
* 实际底层使用默认的加载因子0.75和足以包含指定
* collection中所有元素的初始容量来创建一个HashMap。
* @param c 其中的元素将存放在此set中的collection。
*/
public HashSet(Collection< extends E> c) {
map = new HashMap<E,Object>(Math.max((int) (c.size()/.75f) + 1, 16));
addAll(c);
}
/**
* 以指定的initialCapacity和loadFactor构造一个空的HashSet。
*
* 实际底层以相应的参数构造一个空的HashMap。
* @param initialCapacity 初始容量。
* @param loadFactor 加载因子。
*/
public HashSet(int initialCapacity, float loadFactor) {
map = new HashMap<E,Object>(initialCapacity, loadFactor);
}
/**
* 以指定的initialCapacity构造一个空的HashSet。
*
* 实际底层以相应的参数及加载因子loadFactor为0.75构造一个空的HashMap。
* @param initialCapacity 初始容量。
*/
public HashSet(int initialCapacity) {
map = new HashMap<E,Object>(initialCapacity);
}
/**
* 以指定的initialCapacity和loadFactor构造一个新的空链接哈希集合。
* 此构造函数为包访问权限，不对外公开，实际只是是对LinkedHashSet的支持。
*
* 实际底层会以指定的参数构造一个空LinkedHashMap实例来实现。
* @param initialCapacity 初始容量。
* @param loadFactor 加载因子。
* @param dummy 标记。
*/
HashSet(int initialCapacity, float loadFactor, boolean dummy) {
map = new LinkedHashMap<E,Object>(initialCapacity, loadFactor);
}
/**
* 返回对此set中元素进行迭代的迭代器。返回元素的顺序并不是特定的。
*
* 底层实际调用底层HashMap的keySet来返回所有的key。
* 可见HashSet中的元素，只是存放在了底层HashMap的key上，
* value使用一个static final的Object对象标识。
* @return 对此set中元素进行迭代的Iterator。
*/
@Override
public Iterator<E> iterator() {
return map.keySet().iterator();
}
/**
* 返回此set中的元素的数量（set的容量）。
*
* 底层实际调用HashMap的size()方法返回Entry的数量，就得到该Set中元素的个数。
* @return 此set中的元素的数量（set的容量）。
*/
@Override
public int size() {
return map.size();
}
/**
* 如果此set不包含任何元素，则返回true。
*
* 底层实际调用HashMap的isEmpty()判断该HashSet是否为空。
* @return 如果此set不包含任何元素，则返回true。
*/
@Override
public boolean isEmpty() {
return map.isEmpty();
}
/**
* 如果此set包含指定元素，则返回true。
* 更确切地讲，当且仅当此set包含一个满足(o==null ? e==null : o.equals(e))
* 的e元素时，返回true。
*
* 底层实际调用HashMap的containsKey判断是否包含指定key。
* @param o 在此set中的存在已得到测试的元素。
* @return 如果此set包含指定元素，则返回true。
*/
@Override
public boolean contains(Object o) {
return map.containsKey(o);
}
/**
* 如果此set中尚未包含指定元素，则添加指定元素。
* 更确切地讲，如果此 set 没有包含满足(e==null ? e2==null : e.equals(e2))
* 的元素e2，则向此set 添加指定的元素e。
* 如果此set已包含该元素，则该调用不更改set并返回false。
*
* 底层实际将将该元素作为key放入HashMap。
* 由于HashMap的put()方法添加key-value对时，当新放入HashMap的Entry中key
* 与集合中原有Entry的key相同（hashCode()返回值相等，通过equals比较也返回true），
* 新添加的Entry的value会将覆盖原来Entry的value，但key不会有任何改变，
* 因此如果向HashSet中添加一个已经存在的元素时，新添加的集合元素将不会被放入HashMap中，
* 原来的元素也不会有任何改变，这也就满足了Set中元素不重复的特性。
* @param e 将添加到此set中的元素。
* @return 如果此set尚未包含指定元素，则返回true。
*/
@Override
public boolean add(E e) {
return map.put(e, PRESENT)==null;
}
/**
* 如果指定元素存在于此set中，则将其移除。
* 更确切地讲，如果此set包含一个满足(o==null ? e==null : o.equals(e))的元素e，
* 则将其移除。如果此set已包含该元素，则返回true
* （或者：如果此set因调用而发生更改，则返回true）。（一旦调用返回，则此set不再包含该元素）。
*
* 底层实际调用HashMap的remove方法删除指定Entry。
* @param o 如果存在于此set中则需要将其移除的对象。
* @return 如果set包含指定元素，则返回true。
*/
@Override
public boolean remove(Object o) {
return map.remove(o)==PRESENT;
}
/**
* 从此set中移除所有元素。此调用返回后，该set将为空。
*
* 底层实际调用HashMap的clear方法清空Entry中所有元素。
*/
@Override
public void clear() {
map.clear();
}
}

以上是关于(转)JAVA HashSet 去除重复值原理的主要内容，如果未能解决你的问题，请参考以下文章

转：深入Java集合学习系列：HashSet的实现原理

怎么去除arraylist里重复的值

Java 集合深入理解（十五）：HashSet实现原理研究

java list的重复对象怎么去除

Java 中ArrayList<Object>如何去除其中重复的对象

Java中HashSet，HashMap和HashTable的区别（转）