Парсинг информации с сайта

315

13 февраля 2017, 14:30

Решил написать приложение для 1 сайта, для парсинга информации решил использовать jsoup, но столкнулся с проблемой, что некоторая информация на сайте хранится в джава-скриптах, в итоге я получаю html страницу, в которой нету этой информации(пишет:javascript отключен), интересует вопрос, как решить эту проблему либо альтернативные варианты) с парсингом только начинаю работать, заранее спасибо.

Answer 1

Javascript нельзя получить, но можно попробовать получить результат его выполнения. Скорее всего, то что вы видите на странице в браузере, это результат какого-то get/post запроса, соотвественно вам необходимо отправить такой же запрос с такими же параметрами и вы получите свой результат. Используйте fiddler2 либо вкладку network (в chrome), для подробного изучения всех запросов которые отправляет ваша страница.

Answer 2

Как вариант можно создавать скрытый WebView, грузить в него нужную страницу, а дальше выполнять JS для сбора данных со страницы.

Как получать результат выполнения функций JS.

Как выполнить JS в WebView.