Удаление дубликатов в двух файлах

Смотрите, наивный алгоритм, который будет сравнивать каждую строчку с каждой, будет для вас слишком медленным. Поэтому сделаем алгоритм, который разделит данные за один проход.

Для начала отсортировать ваши файлы. Это на самом деле самая ресурсоёмкая операция. Для этого вам может понадобиться внешняя сортировка, если ваши файлы не влезают в память.

Теперь, когда файлы отсортированы, вы делаете так. Пусть у вас есть текущая строка из первого файла (назовём его словарём), и второго (назовём его вводом). Откроем оба файла, и считаем первую строку из каждого.

Далее в цикле пока ввод или словарь не окончился, делаем следующее в цикле:

• сравниваем текущую строку ввода и строку словаря
• если строка словаря больше строки ввода, то строки ввода нет в словаре, дописываем её во второй выходной файл, считываем следующую строку ввода, и переходим к следующей итерации
• если строка словаря равна строке ввода, то строка ввода есть в словаре, дописываем её в первый выходной файл, считываем следующую строку ввода, и переходим к следующей итерации
• если строка словаря меньше строки ввода, считываем следующую строку словаря

Если после окончания цикла ввод не окончился, все его строки тоже попадают во второй выходной файл.

Обратите внимание, что алгоритм довольно сильно напоминает сортировку слиянием, которая вам, судя по всему, понадобится для внешней сортировки.