Как сделать задержку парсинга на node.js?
159
26 июня 2021, 15:00
суть вопроса: У меня есть скажем 12 000 страниц одного сайта, при обычном парсинге с помощью request
и cheerio через несколько страниц сайт падает с ошибкой. Как мне при парсинге осуществить задержку и последовательный парсинг контента 12 000 страниц из файла?
Заранее спасибо!
Answer 1
Вам нужно отказаться от параллельной работы, либо как то её ограничить. Я бы использовал очереди с callback'ами. Для основы взял бы вот этот код
-
09:21
Основные этапы разработки сайта для стоматологической клиники
-
12:26
-
10:30
-
18:43
Продвижение своими сайтами как стратегия роста и независимости
-
22:46
-
06:18
-
12:23
-
20:41
-
06:31
ТОП-10
- Почему SERVER_ADDR имеет не тот IP 50172 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 31922 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 26140 visits
- Как через css изменить цвет png изображения? 11743 visits
- Blob video url download 11286 visits
- Php curl запрос через прокси с авторизацией 10697 visits
- Работа с captcha vk api 9489 visits
© "hostciti.net" 12.2.2026 | 11:51