Java8利用Stream对列表进行去除重复的方法详解


Posted in Java/Android onApril 14, 2022

一. Stream 的distinct()方法

distinct()是Java 8 中 Stream 提供的方法,返回的是由该流中不同元素组成的流。distinct()使用 hashCode() 和 eqauls() 方法来获取不同的元素。

因此,需要去重的类必须实现 hashCode() 和 equals() 方法。换句话讲,我们可以通过重写定制的 hashCode() 和 equals() 方法来达到某些特殊需求的去重。

distinct() 方法声明如下:

Stream<T> distinct();

1.1 对于 String 列表的去重

因为 String 类已经覆写了 equals() 和 hashCode() 方法,所以可以去重成功。

@Test
public void listDistinctByStreamDistinct() {
  // 1. 对于 String 列表去重
  List<String> stringList = new ArrayList<String>() {{
    add("A");
    add("A");
    add("B");
    add("B");
    add("C");
  }};
  out.print("去重前:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();
  stringList = stringList.stream().distinct().collect(Collectors.toList());
  out.print("去重后:");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();

}

结果如下:

去重前:AABBC
去重后:ABC

1.2 对于实体类列表的去重

注:代码中我们使用了 Lombok 插件的 @Data注解,可自动覆写 equals() 以及 hashCode() 方法。

/**
* 定义一个实体类
*/  
@Data
public class Student {
  private String stuNo;
  private String name;
}
@Test
public void listDistinctByStreamDistinct() throws JsonProcessingException {
    ObjectMapper objectMapper = new ObjectMapper();
    // 1. 对于 Student 列表去重
    List<Student> studentList = getStudentList();
    out.print("去重前:");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"},{"stuNo":"001","name":"Tom"}]
去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"}]

二. 根据 List<Object> 中 Object 某个属性去重

2.1 新建一个列表出来

@Test
  public void distinctByProperty1() throws JsonProcessingException {
    // 这里第一种方法我们通过新创建一个只有不同元素列表来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们引入了两个静态方法,以及通过 TreeSet<> 来达到获取不同元素的效果
    // 1. import static java.util.stream.Collectors.collectingAndThen;
    // 2. import static java.util.stream.Collectors.toCollection;
    studentList = studentList.stream().collect(
      collectingAndThen(
        toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getName))), ArrayList::new)
    );
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

2.2 通过 filter() 方法

我们首先创建一个方法作为 Stream.filter() 的参数,其返回类型为 Predicate,原理就是判断一个元素能否加入到 Set 中去,代码如下:

private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> seen = ConcurrentHashMap.newKeySet();
    return t -> seen.add(keyExtractor.apply(t));
}

使用如下:

@Test
  public void distinctByProperty2() throws JsonProcessingException {
    // 这里第二种方法我们通过过滤来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();
    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们将 distinctByKey() 方法作为 filter() 的参数,过滤掉那些不能加入到 set 的元素
    studentList = studentList.stream().filter(distinctByKey(Student::getName)).collect(Collectors.toList());
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

结果如下:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

到此这篇关于Java8利用Stream实现列表去重的方法详解的文章就介绍到这了!

Java/Android 相关文章推荐
教你用Java在个人电脑上实现微信扫码支付
Jun 13 Java/Android
Java中使用Filter过滤器的方法
Jun 28 Java/Android
elasticSearch-api的具体操作步骤讲解
Jun 28 Java/Android
新手初学Java List 接口
Jul 07 Java/Android
spring cloud gateway中如何读取请求参数
Jul 15 Java/Android
SpringBoot整合Mybatis Generator自动生成代码
Aug 23 Java/Android
Spring-cloud Config Server的3种配置方式
Sep 25 Java/Android
Android超详细讲解组件ScrollView的使用
Mar 31 Java/Android
Java 获取Word中所有的插入和删除修订的方法
Apr 06 Java/Android
Java Spring Boot 正确读取配置文件中的属性的值
Apr 20 Java/Android
Java 写一个简单的图书管理系统
Apr 26 Java/Android
JAVA 线程池(池化技术)的实现原理
Apr 28 Java/Android
详解Flutter网络请求Dio库的使用及封装
Apr 14 #Java/Android
详细介绍Java中的CyclicBarrier
Apr 13 #Java/Android
Java8 Stream API 提供了一种高效且易于使用的处理数据的方式
Apr 13 #Java/Android
Java的Object类的九种方法
Apr 13 #Java/Android
Java 使用类型为Object的变量指向任意类型的对象
Apr 13 #Java/Android
java中为什么说子类的构造方法默认访问的是父类的无参构造方法
Apr 13 #Java/Android
Spring Cloud Netflix 套件中的负载均衡组件 Ribbon
Apr 13 #Java/Android
You might like
一个用于mysql的数据库抽象层函数库
2006/10/09 PHP
php 分页函数multi() discuz
2009/06/21 PHP
php将数据库中所有内容生成静态html文档的代码
2010/04/12 PHP
php+resumablejs实现的分块上传 断点续传功能示例
2017/04/18 PHP
php实现将二维关联数组转换成字符串的方法详解
2017/07/31 PHP
宝塔面板在NGINX环境中TP5.1如何运行?
2021/03/09 PHP
javascript 匿名函数的理解(透彻版)
2010/01/28 Javascript
js post方式传递提交的实现代码
2010/05/31 Javascript
javascript数字时钟示例分享
2014/04/23 Javascript
JavaScript数组随机排列实现随机洗牌功能
2015/03/19 Javascript
avalon js实现仿微博拖动图片排序
2015/08/14 Javascript
javascript动态生成树形菜单的方法
2015/11/14 Javascript
Bootstrap~多级导航(级联导航)的实现效果【附代码】
2016/03/08 Javascript
JavaScript中日期函数的相关操作知识
2016/08/03 Javascript
jquery做个日期选择适用于手机端示例
2017/01/10 Javascript
vue-router 中router-view不能渲染的解决方法
2017/05/23 Javascript
vue 标签属性数据绑定和拼接的实现方法
2018/05/17 Javascript
Nodejs Express 通过log4js写日志到Logstash(ELK)
2018/08/30 NodeJs
Vue 2.0双向绑定原理的实现方法
2019/10/23 Javascript
jquery实现弹窗(系统提示框)效果
2019/12/10 jQuery
在Python的Django框架中获取单个对象数据的简单方法
2015/07/17 Python
在Python中通过threading模块定义和调用线程的方法
2016/07/12 Python
浅谈scrapy 的基本命令介绍
2017/06/13 Python
Python基于最小二乘法实现曲线拟合示例
2018/06/14 Python
python实现LBP方法提取图像纹理特征实现分类的步骤
2019/07/11 Python
Python 类属性与实例属性,类对象与实例对象用法分析
2019/09/20 Python
详解python安装matplotlib库三种失败情况
2020/07/28 Python
澳大利亚当地社区首选的光学商店:1001 Optical
2019/08/24 全球购物
美国儿童服装、家具和玩具精品店:Maisonette
2019/11/24 全球购物
路政管理专业个人自荐信范文
2013/11/30 职场文书
文明班集体申报材料
2014/05/23 职场文书
园林系毕业生求职信
2014/06/23 职场文书
住房租房协议书
2014/08/20 职场文书
大学生军训自我鉴定范文
2014/09/18 职场文书
2014年党建工作汇报材料
2014/11/02 职场文书
党员先进事迹材料
2014/12/19 职场文书