разбиения текста

Требуется разбить большой файл (1 600 000 строк) на строки и сохранить в коллекцию с уникальными значениямиПодгрузка файла происходит на javascript, полученный из файла текст отправляется в модуль на c++, где происходит разбивка файла по строкам