Парсер PHP, как обойти загрузку? [требует правки]

202

14 декабря 2017, 00:13

Здравствуйте, мне нужно парсить сайт https://stepik.org/catalog но когда ты заходишь на неё у тебя начинается загрузка данных на сайт и из-за этого не могу парсить, как пройти эту загрузку а потом начать парсить? если есть возможность то буду благодарен за ссылку на статью

Answer 1

Для того как начать думать о парсе с ресурса, сначала попробуйте понять как работает данный ресурс. Ресурс пожгружает информацию с помощью AJAX технологии, если быть более бдительным, то можно заметить откуда загружаются данные:

https://stepik.org/api/courses?exclude_ended=true&is_public=true&language=en&limit=6&order=-activity&page=1

Благодаря этой ссылке вы получите данные в формате JSON и после перекодировки получите свои данные

Для пробы можете воспользоваться онлайн ресурсом Json decoder Тут

P.S Также можно изменять GET параметры и получать разные результаты, например language или limit и т.д