java对list集合进行去重 传统方式 VS Lambda

Posted 2022-11-28 王啸tr1912

        说道集合的去重，我们就肯定能想到唯一元素集合set，还有map中的key。那么我们传统的去重的方式肯定是要选择set或者是map来实现了，另外在对实体对象类型进行去重的时候，我们可能会指定实体中的一个字段，这种情况也是属于多数的，那么我们要怎么实现呢？

一、传统map实现

        首先我们来看map实现，由于list内对象是不固定的，所以我这里写了一个通用的，按照id去重的例子：

/**
 * 根据属性id去重
 * @param objList  要去重的集合list
 * @param <E>      list内容泛型
 * @return         返回去重后的list
 * @throws NoSuchFieldException
 * @throws IllegalAccessException
 */
public static <E> List<E> removeDuplicateId(List<E> objList) throws NoSuchFieldException, IllegalAccessException 
	List<E> newList = new ArrayList<>();
	HashMap<String, String> map = new HashMap<>();
	for (E t : objList) 
        // 为空则不进行比较（按需确定是否要添加）
		if (org.springframework.util.StringUtils.isEmpty(getFieldValue(t,"id"))) 
			continue;
		
		String id = String.valueOf(getFieldValue(t,"id"));
		String value = map.get(id);
		if (org.springframework.util.StringUtils.isEmpty(value))  //如果value是空的  说明取到的这个name是第一次取到
			map.put(id, id);
			newList.add(t); //newList就是我们想要的去重之后的结果
		
	
	return newList;

     当然这里还加入了一些自定义的配置，如字段为空的时候就舍弃等，可以看出来都是根据map特性，如果在map中找到了值，则不再add。

     如果扩展成根据指定字段去重，则代码修改为把字段的string传入即可：

public static <E> List<E> removeDuplicateId(List<E> objList,String filedName) throws NoSuchFieldException, IllegalAccessException 
    if (StringUtils.isBlank(filedName))
        return objList;
    
	List<E> newList = new ArrayList<>();
	HashMap<String, String> map = new HashMap<>();
	for (E t : objList) 
		// 为空则不进行比较（按需确定是否要添加）
		if (org.springframework.util.StringUtils.isEmpty(getFieldValue(t,filedName))) 
			continue;
		
		String id = String.valueOf(getFieldValue(t,filedName));
		String value = map.get(id);
		if (org.springframework.util.StringUtils.isEmpty(value))  //如果value是空的  说明取到的这个name是第一次取到
			map.put(id, id);
			newList.add(t); //newList就是我们想要的去重之后的结果
		
	
	return newList;

如果要根据多个字段去重，需要怎样呢？扩展第二个参数为字符数组即可：

public static <E> List<E> removeDuplicateId(List<E> objList,String... filedNames) throws NoSuchFieldException, IllegalAccessException 
	if (filedNames==null||filedNames.length==0)
		return objList;
	
	List<E> newList = new ArrayList<>();
	HashMap<String, String> map = new HashMap<>();
	for (E t : objList) 
		String key = "";
		for (int i = 0; i < filedNames.length; i++) 
			key += String.valueOf(getFieldValue(t,filedNames[i]));
		

		String value = map.get(key);
		if (org.springframework.util.StringUtils.isEmpty(value))  //如果value是空的  说明取到的这个name是第一次取到
			map.put(key, key);
			newList.add(t); //newList就是我们想要的去重之后的结果
		
	
	return newList;

有了map的实现，set的也不难了，只需要把里面判断和添加map的代码修改为set对象即可。

 

二、labmda实现

        lambda实现就比较简单了，看一下三连：

单个字段去重：

List<Member> memberList= members.stream() .collect(
                    Collectors.collectingAndThen(Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing(member -> member.getName()))), ArrayList::new));

多个字段去重：

List<Member> memberList = members.stream() .collect(
        Collectors.collectingAndThen(
                Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing(member -> member.getName()+"-"+member.getId()))), ArrayList::new));

还有一个根据某个或者几个字段分组，也可以满足这种需求：

Map<String,List<Member>> map = members.stream().collect(Collectors.groupingBy(Member::getName));

三、总结

        相比较来说，使用lambda进行去重，写法比较简单，代码简洁有利于阅读，而传统方式则过于繁琐，需要写专门的util进行处理，但是从另外的角度来讲传统方式比较灵活，可以增加lambda没有的判断，如果需要去重的字段有为null的情况，使用lambda分组或者去重是会报空指针错误的。