Как пишутся сложные парсеры на php?
Не является проблемой подменить заголовки, реферер, уникальный ип, куки.
Что является проблемой - отследить перечень перенаправлений, модификацию кук в процессе перенаправлений, особенно, если на сайте присутствует много js или не дай бог технологии посложнее/запросов десятки и в каждом необходимо разобраться
Через отладчик фаерфокса проверять передаваемые куки, необходимые хеадеры может быть слишком трудозатратно.
Какие есть средства, позволяющие проанализировать цепочку запросов до получения конечного результата, в идеале сами генерирующие код, либо сильно облегчающие генерацию кода на php? На ум приходят браузерные плагины, но я таких не знаю
Необходимо вручную обрабатывать редиректы, для этого нужно выключить авторедиректы (например, в cURL за это отвечает опция CURLOPT_FOLLOWLOCATION, в других библиотеках - читайте документацию).
Запрос нужно осуществлять в цикле.
При получении ответа обрабатываете полученные заголовки. В конце итерации проверяете код ответа - если 301, 302 (или другой, отвечающие за редирект) и имеется заголовок location, то извлекаете следующий URL из этого заголовка и повторяете итерацию цикла.
-
21:33
Виртуальный выделенный сервер (VDS) становится отличным выбором
-
22:26
-
22:40
-
08:34
-
15:01
-
17:01
-
11:24
-
10:16
-
17:54
- Почему SERVER_ADDR имеет не тот IP 47687 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 30538 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 23715 visits
- Как через css изменить цвет png изображения? 10368 visits
- Blob video url download 9977 visits
- Php curl запрос через прокси с авторизацией 9234 visits
- Работа с captcha vk api 8112 visits
© "hostciti.net" 15.1.2025 | 12:34