Как реализовать парсер на php для js [требует правки]

328
18 февраля 2017, 07:22

Добрый день. Как реализовать парсер на языке php, чтобы получить контент с сайта, который отдается js. И далее его didom разобрать.

Answer 1

Если вы хотите получить конечную страницу с отработавшим на ней JS, используйте PhantomJS.

Но для начала, дерните ее curl'ом и посмотрите содержимое. Возможно нужные вам данные на ней есть в виде, например, JSON, а скрипт просто выстраивает на их основе страницу. Таким образом, например, поступает Steam с комментариями. Конечная страница (с очень большим кол-вом комментариев) весит в несколько раз больше чем исходная с упаковаными в JSON данными.

Answer 2

Есть вероятность что у сайты написанных на js есть версия для поисковых ботов, попробуйте отправить запрос с user-agent типа googlebot

READ ALSO
Как спрятаться от ВК

Как спрятаться от ВК

Всем приветВКонтакте положил мой сайт в черный список

369
JS Удалить часть HTML кода

JS Удалить часть HTML кода

Как найти в коде страницы и удалить одинаковые фрагменты кода? Если быть точным - то вот такие фрагменты:

355
Invalid CSS after “…rder-bottom: 0;”: expected "

Invalid CSS after “…rder-bottom: 0;”: expected "

Получаю такую ошибку, при сборке проекта, на этапе компиляции css из sassНикак не пойму что это может означать ?

370
Группировка css-селекторов Gulp

Группировка css-селекторов Gulp

Я использую сетку smart-grid и group-css-media-queriesВсё группируется по медиа-запросам, всё хорошо, но на выходе есть одна проблема (её масштаб зависит...

968