Поделитесь несколькими методами дедупликации списков через Stream в Java8

Java

Несколько методов дедупликации списков

Здесь я поделюсь несколькими методами дедупликации списка, это можно расценивать как сортировку, если будут ошибки, сообщите пожалуйста.

1. Потокиdistinct()метод

distinct()— это метод, предоставляемый Stream в Java 8, который возвращает поток, состоящий из различных элементов потока.distinct()использоватьhashCode()иeqauls()способ получения различных элементов. Следовательно, классы, которые необходимо дедуплицировать, должны реализовыватьhashCode()иequals()метод. Другими словами, мы можем настроитьhashCode()иequals()метод для достижения дедупликации некоторых особых потребностей.

distinct()Объявление метода выглядит следующим образом:

Stream<T> distinct();

1.1 ДляStringдедупликация списка

так какStringкласс был переопределенequals()иhashCode()метод, так что вы можете дедуплицировать успех.

@Test
public void listDistinctByStreamDistinct() {
  // 1. 对于 String 列表去重
  List<String> stringList = new ArrayList<String>() {{
    add("A");
    add("A");
    add("B");
    add("B");
    add("C");
  }};
  out.print("去重前：");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();
  stringList = stringList.stream().distinct().collect(Collectors.toList());
  out.print("去重后：");
  for (String s : stringList) {
    out.print(s);
  }
  out.println();
}

Результат выглядит следующим образом:

去重前：AABBC
去重后：ABC

1.2 Дедупликация для списка классов сущностей

Примечание: в коде мы используемLombokплагин@DataАннотация, может быть автоматически перезаписанаequals()а такжеhashCode()метод.

/**
* 定义一个实体类
*/ 
@Data
public class Student {
  private String stuNo;
  private String name;
}

@Test
public void listDistinctByStreamDistinct() throws JsonProcessingException {
    ObjectMapper objectMapper = new ObjectMapper();
    // 1. 对于 Student 列表去重
    List<Student> studentList = getStudentList();
    out.print("去重前：");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("去重后：");
    out.println(objectMapper.writeValueAsString(studentList));
  }

Результат выглядит следующим образом:

去重前：[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"},{"stuNo":"001","name":"Tom"}]
去重后：[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"}]

2. СогласноList<Object>серединаObjectДедупликация свойства

2.1 Создать новый список

  @Test
  public void distinctByProperty1() throws JsonProcessingException {
    // 这里第一种方法我们通过新创建一个只有不同元素列表来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();

    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们引入了两个静态方法，以及通过 TreeSet<> 来达到获取不同元素的效果
    // 1. import static java.util.stream.Collectors.collectingAndThen;
    // 2. import static java.util.stream.Collectors.toCollection;
    studentList = studentList.stream().collect(
      collectingAndThen(
        toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getName))), ArrayList::new)
    );
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

Результат выглядит следующим образом:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

2.2 Пройтиfilter()метод

Сначала мы создаем метод какStream.filter()параметр, возвращаемый тип которогоPredicate, принцип заключается в том, чтобы определить, может ли элемент быть добавлен кSetИди, код такой:

private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> seen = ConcurrentHashMap.newKeySet();
    return t -> seen.add(keyExtractor.apply(t));
}

Используйте следующим образом:

  @Test
  public void distinctByProperty2() throws JsonProcessingException {
    // 这里第二种方法我们通过过滤来实现根据对象某个属性去重
    ObjectMapper objectMapper = new ObjectMapper();
    List<Student> studentList = getStudentList();

    out.print("去重前        :");
    out.println(objectMapper.writeValueAsString(studentList));
    studentList = studentList.stream().distinct().collect(Collectors.toList());
    out.print("distinct去重后:");
    out.println(objectMapper.writeValueAsString(studentList));
    // 这里我们将 distinctByKey() 方法作为 filter() 的参数，过滤掉那些不能加入到 set 的元素
    studentList = studentList.stream().filter(distinctByKey(Student::getName)).collect(Collectors.toList());
    out.print("根据名字去重后 :");
    out.println(objectMapper.writeValueAsString(studentList));
  }

Результат выглядит следующим образом:

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

3. Резюме

Выше приведены несколько методов дедупликации списков, которыми я хочу поделиться.Конечно, здесь нет более подробного анализа производительности. Если есть какие-либо ошибки, пожалуйста, дайте мне знать.

Кодовый адрес:github

Категории