объемов данных

Задача заключается в импорте больших объемов данных в бд, во время импорта, или после, будет запускаться индексация полученных данных машиной elasticsearchВремя потраченное на обработку данных может быть от нескольких минут до нескольких часов

Программа парсит через VK API пользователей (в среднем в 20-50 потоков) и создает записи в базе данныхУ каждого пользователя в среднем 20 групп, 500 фотографий, 200 друзей

Опишу задачу, прошу подсказки куда смотретьНадо обработать большое количество данных как можно быстрее и эффективнее