Java Spring обработка больших объемов данных

183
25 января 2018, 18:54

Опишу задачу, прошу подсказки куда смотреть. Надо обработать большое количество данных как можно быстрее и эффективнее. Задача скорее всего типичная: 1. Спарсить 3-4 сайта (желательно одновременно) 2. Обработать эти данные в нужный формат для вставки в базу 3. Закинуть все это добро в базу

С технологиями баз и парсинга определился, но теперь не могу определиться как все это сделать быстро и производительно. Как бы в спринге есть @Async и можно сделать параллельный парсинг. Смотрел также в сторону Spring Batch, но не могу понять в нем есть многопоточность "под капотом" или он просто тупо дробит большое задание на части? В общем подскажите пожалуйста какую технологию применить, как вы бы решили данную задачу?

READ ALSO
Java потоки и сокеты

Java потоки и сокеты

Существует клиент-серверное приложение в работе которого используются сокеты и с каждым сокетом создаётся новый поток, в который передаются...

129
Telegram bot sendMessage() is deprecated in java

Telegram bot sendMessage() is deprecated in java

Если этот метод уже deprecated, то как лучше отправлять сообщения клиенту?

142
Шаблоны в jQuery

Шаблоны в jQuery

Я когда то давно слышал, что в jQuery собираются встроить шаблоны (tmpl), чтобы не цеплять сторонние библиотекиНо этого, походу, не случилось

314
Добавить содержимое div в разные input

Добавить содержимое div в разные input

Как по клику на <div class="add"> добавить содержимое из <span class="title_id"> в add_title_id, а <span class="title"> в add_title?

236