Как можно отправить такой же запрос без selenium?

185
07 июня 2018, 13:20

На сайте Агентства недвижимости в России после 10 страницы остается только кнопка "Показать еще", по нажатию которой происходит загрузка следующей партии данных.

Как можно отправить такой же запрос без selenium? Через requests (get)?

В XHR запросах видно,что генерится ссылка вида:

http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=854606,1261295,1309657,1470394,1508288,1768143,2052408,2053148,2246867,2223543,33673,31619,398446,699045,2528123,859166,2502772,1551941,2512081,1594761,836426,33686,843403,5395581,1242936,936348,35094,2503025,5400737,2496162&countryId=1&count=30&offsetNum=

с уже указанными новыми ID (excludedList). Но вот как она формируется - не могу найти.

Answer 1

Вот запрос для подгрузки данных методом get, только в конце цифру надо менять для получения следующих данных. Можно сразу по ней парсить, не переходя по страницам http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=2513242,1544053,2531378,945115,921353,1548315,5353852,2052447,910883,332404,2563016,959336,2565588,2505572,925525,1374985,1847051,252714,2511188,2544542,2550868,2560884,662226,2504949,957595,1469054,834463,582825,34444,965119&countryId=1&count=30&offsetNum=1 Пример на питоне

import requests
url = 'http://www.orgpage.ru/Rubricator/ajax/RubricatorRegionLevel2Next/?rubricId=10239&rubricLevel=3&excludeIdList=854606,1261295,1309657,1470394,1508288,1768143,2052408,2053148,2246867,2223543,33673,31619,398446,699045,2528123,859166,2502772,1551941,2512081,1594761,836426,33686,843403,5395581,1242936,936348,35094,2503025,5400737,2496162&countryId=1&count=30&offsetNum=%s'
data = {}
status = ok
while status:
    page = requests.get(url % n)
    status = page.ok()
    temp = page.text
    # парсинг данных в temp
    data.update(temp)
READ ALSO
Не получается вывести JSON в HTML

Не получается вывести JSON в HTML

Пробую сделать расписание по дням недели

187
Некорректно работает циклический слайдер

Некорректно работает циклический слайдер

Есть циклический слайдер, в котором ушедший влево кадр обрезается и вставляется в конецПроблема заключается в том, что при обрезке этого...

187