Как удалить дубликаты строк из другого файла?

202
07 апреля 2019, 16:50

Есть два тестовых файла. Как удалить дубликаты строк из первого файла, которые содержатся в другом файле? Файлы на 500 000 строк и больше. Можно создать новый файл, с результатом.

Answer 1

Implemetation using Java Stream API

        String fileFirst = "/home/user/1.txt";//here is your files
        String fileSecond = "/home/user/2.txt";
        String fileResult = "/home/user/1-exclude-2.txt";
        try (Stream<String> streamFirst = Files.lines(Paths.get(fileFirst)); 
                Stream<String> streamSecond = Files.lines(Paths.get(fileSecond))) {
            List<String> list = streamSecond.collect(Collectors.toList());
            List<String> resultList = streamFirst.filter(line -> !list.contains(line)).collect(Collectors.toList());            
            Files.write(Paths.get(fileResult), resultList);
        } catch (IOException e) {
            e.printStackTrace();
        }
READ ALSO
JSP. Кодировка. Корректный вывод символов

JSP. Кодировка. Корректный вывод символов

При переходе с фильтра на jsp страницу, на странице некорректно отображаются русские символыПробовал уже много решений с различных сайтов,...

214
Как проверить работу docker контейнера?

Как проверить работу docker контейнера?

Есть docker контейнер с java приложением

230
Как правильно сделать лайк функцию в firebase?

Как правильно сделать лайк функцию в firebase?

Есть приложение, в нем постыЛайки, сделал следующим образом:

179
Добавление библиотек в Intellij Idea

Добавление библиотек в Intellij Idea

Мне необходимо добавить библиотеки, скачанные с интернета, которые хранятся в форме каталогов, в проектДелаю это следующим образом: File->Project...

189