Трудности программирования ботов

247
10 декабря 2016, 10:37

Есть сайт, у сайта есть блок с id регионов, городов и т.п, но этот блок скрыт пока на него не нажмешь мышкой. Мне надо извлечь эти id.

С начала я извлек с помощью HttpURLConnection класса их html страницу, но так как этот блок скрыт пока на него не нажмешь мышкой, мне в html странице не приходят исходники данного блока чтобы я мог его распарсить.

Есть решения данной проблемы ?

Кстати когда я открываю консоль разработчика содержимое этого блока можно найти и посмотреть, даже если он скрыт.

Answer 1

Не приходят в сорцах - значит подгружаются скриптом.
Блок в консоли может быть просто пустым.

Либо подгружайте как HTML-страницу (WebView?) и там заставьте JS подгрузить блок, либо сразу узнайте адрес с загружаемыми данными и подтягивайте оттуда.
Первый вариант для извращенцев, конечно :)

ПОСЛЕДНИЕ ВОПРОСЫ
Все вопросы
Подробнее о сайте hersones.com.ua
ТОП-10
READ ALSO
Загрузка изображения через type=file
HTML

Загрузка изображения через type=file

При загрузке изображения в БД через поле file вместо обычного пути выводится C:fakepathmailpng

 224
Почему не находит элемент?
HTML

Почему не находит элемент?

Html:

 392
блок изменяющийся на textarea при нажатии
HTML

блок изменяющийся на textarea при нажатии

Есть тег или атрибут для div но не могу его найтиПри нажатии на div он изменялся на textarea и в нем можно было изменять содержымое блока

 268
Тестировать бутстрап сайтf на смартфоне выявило некоторые ошибки
HTML

Тестировать бутстрап сайтf на смартфоне выявило некоторые ошибки

Всем привет, Пробую тестировать свой бутстрап сайт на смартфоне(Fly IQ450 Horizon 2) и вижу несколько ошибок, которые не отображались ни в браузере...

 219