Парсинг с помощью CURL

144
09 июня 2019, 16:50

Мне надо спарсить данные с одного сайта. Для этого я использую CURL. Я сделал, что бы работала авторизация и сохранение куки. После этого все хорошо, я могу парсить страницы сайта. Но есть одна страница, которую не могу спарсить. При ее запросе всегда выдает предыдущую.

Посмотреть в браузере, обнаружил что используется 302 редирект, при чем 2 раза. Но у меня в CURL включена опция "следовать за переадресацией".

Еще один момент, который обнаружил: если авторизироваться на сайте, перейти на эту ссылку, потом ее скопировать и открыть в новом окне - она открывается. Но если выйти, потом снова зайти и просто вставить ссылку и перейти по ней - сбрасывает на предыдущую.

Если кто может подсказать в какую сторону смотреть - буду благодарен

P.S. Хочу уточнить как происходит обращение первый раз к ссылке: я перехожу по ссылке, сохраняю куки, вижу что 302 редирект, перехожу по нему, сохраняю куки. вижу еще 1 редирект, перехожу по нему и меня сбрасывает. Может мне надо куки склеивать на каждом шаге?

READ ALSO
Скачивание файла с сайта PHP

Скачивание файла с сайта PHP

При нажатии на кнопку при помощи ajax запроса отправляется имя файла, в php файле принимается имя файла, после чего формируется zip архив и вызывается...

152
Проверка на открытие или закрытие тега

Проверка на открытие или закрытие тега

К примеру переменная содержит строку:

117
Не работает require_once __DIR__

Не работает require_once __DIR__

Ситуацияphp7, OpenServer

125
Как получить чужой домен при запросе в AJAX?

Как получить чужой домен при запросе в AJAX?

documentreferrer с чужого домена у которого https - получаю пустое значение, это понятно, как можно по другому получить значение (домен) в ajax? $_SERVER['HTTP_REFERER']...

106