Java8利用Stream对列表进行去除重复的方法详解


Posted in Java/Android onApril 14, 2022

一. Stream 的distinct()方法

distinct()是Java 8 中 Stream 提供的方法,返回的是由该流中不同元素组成的流。distinct()使用 hashCode() 和 eqauls() 方法来获取不同的元素。

因此,需要去重的类必须实现 hashCode() 和 equals() 方法。换句话讲,我们可以通过重写定制的 hashCode() 和 equals() 方法来达到某些特殊需求的去重。

distinct() 方法声明如下:

Stream<T> distinct();

1.1 对于 String 列表的去重

因为 String 类已经覆写了 equals() 和 hashCode() 方法,所以可以去重成功。

@Test
public void listDistinctByStreamDistinct() {
  // 1. 对于 String 列表去重
  List<String> stringList = new ArrayList<String>() {{
    add("A");
    add("A");
    add("B");
    add("B");
    add("C");
  }};
  out.print("去重前:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();
  stringList = stringList.stream().distinct().collect(Collectors.toList());
  out.print("去重后:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();

}

结果如下:

去重前:AABBC
去重后:ABC

1.2 对于实体类列表的去重

注:代码中我们使用了 Lombok 插件的 @Data注解,可自动覆写 equals() 以及 hashCode() 方法。

/**
* 定义一个实体类
*/  
@Data
public class Student {
  private String stuNo;
  private String name;
}
@Test
public void listDistinctByStreamDistinct() throws JsonProcessingException {
    ObjectMapper objectMapper = new ObjectMapper();
    // 1. 对于 Student 列表去重
    List<Student> studentList = getStudentList();
    out.print("去重前:");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"},{"stuNo":"001","name":"Tom"}]
去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"}]

二. 根据 List<Object> 中 Object 某个属性去重

2.1 新建一个列表出来

@Test
  public void distinctByProperty1() throws JsonProcessingException {
    // 这里第一种方法我们通过新创建一个只有不同元素列表来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们引入了两个静态方法,以及通过 TreeSet<> 来达到获取不同元素的效果
    // 1. import static java.util.stream.Collectors.collectingAndThen;
    // 2. import static java.util.stream.Collectors.toCollection;
    studentList = studentList.stream().collect(
      collectingAndThen(
        toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getName))), ArrayList::new)
    );
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

2.2 通过 filter() 方法

我们首先创建一个方法作为 Stream.filter() 的参数,其返回类型为 Predicate,原理就是判断一个元素能否加入到 Set 中去,代码如下:

private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> seen = ConcurrentHashMap.newKeySet();
    return t -> seen.add(keyExtractor.apply(t));
}

使用如下:

@Test
  public void distinctByProperty2() throws JsonProcessingException {
    // 这里第二种方法我们通过过滤来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们将 distinctByKey() 方法作为 filter() 的参数,过滤掉那些不能加入到 set 的元素
    studentList = studentList.stream().filter(distinctByKey(Student::getName)).collect(Collectors.toList());
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

到此这篇关于Java8利用Stream实现列表去重的方法详解的文章就介绍到这了!

Java/Android 相关文章推荐
Java实现多线程聊天室
Jun 26 Java/Android
关于@OnetoMany关系映射的排序问题,使用注解@OrderBy
Dec 06 Java/Android
JVM之方法返回地址详解
Feb 28 Java/Android
Android开发之WECHAT微信小程序路由跳转的两种形式
Apr 12 Java/Android
Spring Data JPA框架持久化存储数据到数据库
Apr 28 Java/Android
mybatis-plus模糊查询指定字段
Apr 28 Java/Android
Spring中的@Transactional的工作原理
Jun 05 Java/Android
Android 中的类文件和类加载器详情
Jun 05 Java/Android
Java完整实现记事本代码
Jun 16 Java/Android
Spring Security动态权限的实现方法详解
Jun 16 Java/Android
SpringCloud超详细讲解Feign声明式服务调用
Jun 21 Java/Android
阿里面试Nacos配置中心交互模型是push还是pull原理解析
Jul 23 Java/Android
详解Flutter网络请求Dio库的使用及封装
Apr 14 #Java/Android
详细介绍Java中的CyclicBarrier
Apr 13 #Java/Android
Java8 Stream API 提供了一种高效且易于使用的处理数据的方式
Apr 13 #Java/Android
Java的Object类的九种方法
Apr 13 #Java/Android
Java 使用类型为Object的变量指向任意类型的对象
Apr 13 #Java/Android
java中为什么说子类的构造方法默认访问的是父类的无参构造方法
Apr 13 #Java/Android
Spring Cloud Netflix 套件中的负载均衡组件 Ribbon
Apr 13 #Java/Android
You might like
phpstorm最新激活码分享亲测phpstorm2020.2.3版可用
2020/11/22 PHP
Aster vs Newbee BO5 第二场2.19
2021/03/10 DOTA
ExtJs3.0中Store添加 baseParams 的Bug
2010/03/10 Javascript
IE与Firefox在JavaScript上的7个不同句法分享
2011/10/30 Javascript
js实现浏览器的各种菜单命令比如打印、查看源文件等等
2013/10/24 Javascript
js文件Cookie存取值示例代码
2014/02/20 Javascript
Node.js(安装,启动,测试)
2014/06/09 Javascript
JS 获取鼠标左右键的键值方法
2014/10/11 Javascript
js实现背景图片感应鼠标变化的方法
2015/02/28 Javascript
深入分析下javascript中的[]()+!
2015/07/07 Javascript
快速学习AngularJs HTTP响应拦截器
2015/12/31 Javascript
JavaScript定义函数的三种实现方法
2017/09/23 Javascript
利用jQuery实现简单的拖曳效果实例代码
2017/10/20 jQuery
使用vue根据状态添加列表数据和删除列表数据的实例
2018/09/29 Javascript
基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件功能
2021/02/23 Vue.js
[02:22]《新闻直播间》2017年08月14日
2017/08/15 DOTA
Python爬取APP下载链接的实现方法
2016/09/30 Python
浅谈tensorflow中几个随机函数的用法
2018/07/27 Python
Python实现的大数据分析操作系统日志功能示例
2019/02/11 Python
Python从文件中读取指定的行以及在文件指定位置写入
2019/09/06 Python
python迭代器常见用法实例分析
2019/11/22 Python
Python Opencv中用compareHist函数进行直方图比较对比图片
2020/04/07 Python
Pytest如何使用skip跳过执行测试
2020/08/13 Python
柯基袜:Corgi Socks
2017/01/26 全球购物
TUMI香港官网:国际领先的行李箱、背囊品牌
2021/03/01 全球购物
播音主持女孩的自我评价分享
2013/11/20 职场文书
商场拾金不昧表扬信
2014/01/13 职场文书
汽车维修求职信
2014/06/15 职场文书
法语专业求职信
2014/07/20 职场文书
社区助残日活动总结
2014/08/29 职场文书
个人四风问题原因分析及整改措施
2014/09/28 职场文书
2015年班组建设工作总结
2015/05/13 职场文书
投诉书格式范本
2015/07/02 职场文书
食堂卫生管理制度
2015/08/04 职场文书
基于Redis实现分布式锁的方法(lua脚本版)
2021/05/12 Redis
CSS实现单选折叠菜单功能
2021/11/01 HTML / CSS