Web Scrapping Node Js
Какую библиотеку можно использовать для скраппинга динамических данных? Например, библиотека request присылает страницу, где еще js скрипты не выполнены и часть информации отсутствует. Возможно ли это без использования headless browsers?
На вскидку вот эти инструменты
http://www.nightmarejs.org/
https://www.npmjs.com/package/selenium-webdriver
https://github.com/ariya/phantomjs
Возможно ли это без использования headless browsers?
Как вариант посмотреть на какие урлы уходят запросы и что приходит в ответ. А там уже смотреть что можно сделать с данными
Если данные на страницу загружаются динамически, то можно попробовать собирать их прямо в JSON формате. Открываем DevTools на вкладке Network, ставим фильтр XHR и смотрим запросы к бекенду. Найдя ссылку которая подгружает данные и используя request подгружаем эти данные.
-
18:43
Продвижение своими сайтами как стратегия роста и независимости
-
22:46
-
06:18
-
12:23
-
20:41
-
06:31
-
21:28
-
22:18
-
08:00
- Почему SERVER_ADDR имеет не тот IP 49992 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 31911 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 25953 visits
- Как через css изменить цвет png изображения? 11732 visits
- Blob video url download 11279 visits
- Php curl запрос через прокси с авторизацией 10685 visits
- Работа с captcha vk api 9481 visits
© "hostciti.net" 19.1.2026 | 15:19