На сайте Агентства недвижимости в России после 10 страницы остается только кнопка "Показать еще", по нажатию которой происходит загрузка следующей партии данных.
Как можно отправить такой же запрос без selenium? Через requests (get)?
В XHR запросах видно,что генерится ссылка вида:
http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=854606,1261295,1309657,1470394,1508288,1768143,2052408,2053148,2246867,2223543,33673,31619,398446,699045,2528123,859166,2502772,1551941,2512081,1594761,836426,33686,843403,5395581,1242936,936348,35094,2503025,5400737,2496162&countryId=1&count=30&offsetNum=
с уже указанными новыми ID (excludedList). Но вот как она формируется - не могу найти.
Вот запрос для подгрузки данных методом get, только в конце цифру надо менять для получения следующих данных. Можно сразу по ней парсить, не переходя по страницам http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=2513242,1544053,2531378,945115,921353,1548315,5353852,2052447,910883,332404,2563016,959336,2565588,2505572,925525,1374985,1847051,252714,2511188,2544542,2550868,2560884,662226,2504949,957595,1469054,834463,582825,34444,965119&countryId=1&count=30&offsetNum=1 Пример на питоне
import requests
url = 'http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=854606,1261295,1309657,1470394,1508288,1768143,2052408,2053148,2246867,2223543,33673,31619,398446,699045,2528123,859166,2502772,1551941,2512081,1594761,836426,33686,843403,5395581,1242936,936348,35094,2503025,5400737,2496162&countryId=1&count=30&offsetNum=%s'
data = {}
status = ok
while status:
page = requests.get(url % n)
status = page.ok()
temp = page.text
# парсинг данных в temp
data.update(temp)
Выделенный сервер, что это, для чего нужен и какие характеристики важны?
Современные решения для бизнеса: как облачные и виртуальные технологии меняют рынок
Виртуальный выделенный сервер (VDS) становится отличным выбором
Есть циклический слайдер, в котором ушедший влево кадр обрезается и вставляется в конецПроблема заключается в том, что при обрезке этого...
У меня есть backend на jsf+spring