Как сделать задержку парсинга на node.js?
111
26 июня 2021, 15:00
суть вопроса: У меня есть скажем 12 000 страниц одного сайта, при обычном парсинге с помощью request
и cheerio через несколько страниц сайт падает с ошибкой. Как мне при парсинге осуществить задержку и последовательный парсинг контента 12 000 страниц из файла?
Заранее спасибо!
Answer 1
Вам нужно отказаться от параллельной работы, либо как то её ограничить. Я бы использовал очереди с callback'ами. Для основы взял бы вот этот код
-
17:01
-
11:24
-
10:16
-
17:54
-
22:01
-
13:03
-
12:54
Айфон мало держит заряд, разбираемся с проблемой вместе с AppLab
-
21:25
-
07:04
ТОП-10
- Почему SERVER_ADDR имеет не тот IP 47563 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 30497 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 23632 visits
- Как через css изменить цвет png изображения? 10350 visits
- Blob video url download 9959 visits
- Php curl запрос через прокси с авторизацией 9212 visits
- Работа с captcha vk api 8094 visits
© "hostciti.net" 27.11.2024 | 07:35