Java8利用Stream对列表进行去除重复的方法详解


Posted in Java/Android onApril 14, 2022

一. Stream 的distinct()方法

distinct()是Java 8 中 Stream 提供的方法,返回的是由该流中不同元素组成的流。distinct()使用 hashCode() 和 eqauls() 方法来获取不同的元素。

因此,需要去重的类必须实现 hashCode() 和 equals() 方法。换句话讲,我们可以通过重写定制的 hashCode() 和 equals() 方法来达到某些特殊需求的去重。

distinct() 方法声明如下:

Stream<T> distinct();

1.1 对于 String 列表的去重

因为 String 类已经覆写了 equals() 和 hashCode() 方法,所以可以去重成功。

@Test
public void listDistinctByStreamDistinct() {
  // 1. 对于 String 列表去重
  List<String> stringList = new ArrayList<String>() {{
    add("A");
    add("A");
    add("B");
    add("B");
    add("C");
  }};
  out.print("去重前:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();
  stringList = stringList.stream().distinct().collect(Collectors.toList());
  out.print("去重后:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();

}

结果如下:

去重前:AABBC
去重后:ABC

1.2 对于实体类列表的去重

注:代码中我们使用了 Lombok 插件的 @Data注解,可自动覆写 equals() 以及 hashCode() 方法。

/**
* 定义一个实体类
*/  
@Data
public class Student {
  private String stuNo;
  private String name;
}
@Test
public void listDistinctByStreamDistinct() throws JsonProcessingException {
    ObjectMapper objectMapper = new ObjectMapper();
    // 1. 对于 Student 列表去重
    List<Student> studentList = getStudentList();
    out.print("去重前:");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"},{"stuNo":"001","name":"Tom"}]
去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"}]

二. 根据 List<Object> 中 Object 某个属性去重

2.1 新建一个列表出来

@Test
  public void distinctByProperty1() throws JsonProcessingException {
    // 这里第一种方法我们通过新创建一个只有不同元素列表来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们引入了两个静态方法,以及通过 TreeSet<> 来达到获取不同元素的效果
    // 1. import static java.util.stream.Collectors.collectingAndThen;
    // 2. import static java.util.stream.Collectors.toCollection;
    studentList = studentList.stream().collect(
      collectingAndThen(
        toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getName))), ArrayList::new)
    );
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

2.2 通过 filter() 方法

我们首先创建一个方法作为 Stream.filter() 的参数,其返回类型为 Predicate,原理就是判断一个元素能否加入到 Set 中去,代码如下:

private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> seen = ConcurrentHashMap.newKeySet();
    return t -> seen.add(keyExtractor.apply(t));
}

使用如下:

@Test
  public void distinctByProperty2() throws JsonProcessingException {
    // 这里第二种方法我们通过过滤来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们将 distinctByKey() 方法作为 filter() 的参数,过滤掉那些不能加入到 set 的元素
    studentList = studentList.stream().filter(distinctByKey(Student::getName)).collect(Collectors.toList());
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

到此这篇关于Java8利用Stream实现列表去重的方法详解的文章就介绍到这了!

Java/Android 相关文章推荐
Java 将PPT幻灯片转为HTML文件的实现思路
Jun 11 Java/Android
SpringBoot工程下使用OpenFeign的坑及解决
Jul 02 Java/Android
使用springMVC所需要的pom配置
Sep 15 Java/Android
Springboot如何同时装配两个相同类型数据库
Nov 17 Java/Android
剑指Offer之Java算法习题精讲二叉树专项训练
Mar 21 Java/Android
Android自定义scrollview实现回弹效果
Apr 01 Java/Android
Java8利用Stream对列表进行去除重复的方法详解
Apr 14 Java/Android
Java 多态分析
Apr 26 Java/Android
Java 死锁解决方案
May 11 Java/Android
springcloud整合seata
May 20 Java/Android
Android移动应用开发指南之六种布局详解
Sep 23 Java/Android
Java Redisson多策略注解限流
Sep 23 Java/Android
详解Flutter网络请求Dio库的使用及封装
Apr 14 #Java/Android
详细介绍Java中的CyclicBarrier
Apr 13 #Java/Android
Java8 Stream API 提供了一种高效且易于使用的处理数据的方式
Apr 13 #Java/Android
Java的Object类的九种方法
Apr 13 #Java/Android
Java 使用类型为Object的变量指向任意类型的对象
Apr 13 #Java/Android
java中为什么说子类的构造方法默认访问的是父类的无参构造方法
Apr 13 #Java/Android
Spring Cloud Netflix 套件中的负载均衡组件 Ribbon
Apr 13 #Java/Android
You might like
PHP 存取 MySQL 数据库的一个例子
2006/10/09 PHP
PHP FATAL ERROR: CALL TO UNDEFINED FUNCTION BCMUL()解决办法
2014/05/04 PHP
PHP检测数据类型的几种方法(总结)
2017/03/04 PHP
PHP5.6读写excel表格文件操作示例
2019/02/26 PHP
php提高脚本性能的4个技巧
2020/08/18 PHP
js判断浏览器的比较全的代码
2007/02/13 Javascript
js form action动态修改方法
2008/11/04 Javascript
JQuery打造PHP的AJAX表单提交实例
2009/11/03 Javascript
JavaScript 开发规范要求(图文并茂)
2010/06/11 Javascript
JavaScript高级程序设计 扩展--关于动态原型
2010/11/09 Javascript
JavaScript var声明变量背后的原理示例解析
2013/10/12 Javascript
[原创]推荐10款最热门jQuery UI框架
2014/08/19 Javascript
javascript中call,apply,bind的用法对比分析
2015/02/12 Javascript
Asp.Net之JS生成分页条的方法
2016/11/23 Javascript
nodejs获取微信小程序带参数二维码实现代码
2017/04/12 NodeJs
webpack学习教程之publicPath路径问题详解
2017/06/17 Javascript
javascript自定义事件功能与用法实例分析
2017/11/08 Javascript
Vue.js 中取得后台原生HTML字符串 原样显示问题的解决方法
2018/06/10 Javascript
javascript闭包的使用之按钮切换功能
2018/08/30 Javascript
vue自定义全局共用函数详解
2018/09/18 Javascript
Vue js 的生命周期(看了就懂)(推荐)
2019/03/29 Javascript
JS数组方法push()、pop()用法实例分析
2020/01/18 Javascript
浅谈Python中列表生成式和生成器的区别
2015/08/03 Python
Python判断文件或文件夹是否存在的三种方法
2017/07/27 Python
Django中使用celery完成异步任务的示例代码
2018/01/23 Python
Python基本socket通信控制操作示例
2019/01/30 Python
利用python numpy+matplotlib绘制股票k线图的方法
2019/06/26 Python
python各种excel写入方式的速度对比
2020/11/10 Python
实例讲解HTML5的meta标签的一些应用
2015/12/08 HTML / CSS
Needle & Thread官网:英国仙女品牌
2018/01/13 全球购物
西班牙最大的婴儿用品网上商店:Bebitus
2019/05/30 全球购物
升学宴主持词
2014/04/02 职场文书
技校毕业生自荐信
2014/06/03 职场文书
小学生九一八纪念日83周年演讲稿500字
2014/09/17 职场文书
JavaScript模拟实现网易云轮播效果
2022/04/04 Javascript
JavaScript前端面试组合函数
2022/06/21 Javascript