Как пишутся сложные парсеры на php?
Не является проблемой подменить заголовки, реферер, уникальный ип, куки.
Что является проблемой - отследить перечень перенаправлений, модификацию кук в процессе перенаправлений, особенно, если на сайте присутствует много js или не дай бог технологии посложнее/запросов десятки и в каждом необходимо разобраться
Через отладчик фаерфокса проверять передаваемые куки, необходимые хеадеры может быть слишком трудозатратно.
Какие есть средства, позволяющие проанализировать цепочку запросов до получения конечного результата, в идеале сами генерирующие код, либо сильно облегчающие генерацию кода на php? На ум приходят браузерные плагины, но я таких не знаю
Необходимо вручную обрабатывать редиректы, для этого нужно выключить авторедиректы (например, в cURL за это отвечает опция CURLOPT_FOLLOWLOCATION, в других библиотеках - читайте документацию).
Запрос нужно осуществлять в цикле.
При получении ответа обрабатываете полученные заголовки. В конце итерации проверяете код ответа - если 301, 302 (или другой, отвечающие за редирект) и имеется заголовок location, то извлекаете следующий URL из этого заголовка и повторяете итерацию цикла.
-
09:21
Основные этапы разработки сайта для стоматологической клиники
-
12:26
-
10:30
-
18:43
Продвижение своими сайтами как стратегия роста и независимости
-
22:46
-
06:18
-
12:23
-
20:41
-
06:31
- Почему SERVER_ADDR имеет не тот IP 50282 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 31936 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 26258 visits
- Как через css изменить цвет png изображения? 11758 visits
- Blob video url download 11302 visits
- Php curl запрос через прокси с авторизацией 10714 visits
- Работа с captcha vk api 9510 visits
© "hostciti.net" 12.3.2026 | 21:06