Нужна помощь с паркингом из vk (не api)

171

12 сентября 2019, 06:00

Мне нужно получить все id страниц пользователе с заданным именем и фамилией.Однако Vk api выдает только первые 1000 страниц Условно, если "Павел Дуров" зарегистрировано 10000, то он возьмет первую 1000 вычтет удаленных и заблокированных и выдаст 600.

Но при ссылочном запросе на сайт выдается весь стек с пост загрузкой по offset.

Нужный фрагмент HTML:

 <div class="results blt_cont bl_cont mark_top_verified ">
    <a href="/durov" class="simple_fit_item search_item">
        <img src="https://pp.userapi.com/c836333/v836333001/31193/dNxZpRF-z_M.jpg?ava=1" class="si_img" />
        <div class="si_body">
        <span class="si_owner">РџР°РІРµР» Р”СѓСЂРѕРІ<b class="verified"></b></span>
        <div class="si_slabel">РЎРџР±Р“РЈ '06</div><div class="si_slabel">34 РіРѕРґР°, РЎР°РЅРєС‚-РџРµС‚РµСЂР±СѓСЂРі</div>
        </div>
    </a>
    ///////
    <a href="/id274583833" class="simple_fit_item search_item">
        <img src="https://pp.userapi.com/c624828/v624828833/6657/4KQkPXYe224.jpg?ava=1" class="si_img" />
         <div class="si_body">
         <span class="si_owner">РџР°РІРµР» Р”СѓСЂРѕРІ</span>
         <div class="si_slabel">РЎР°РЅРєС‚-РџРµС‚РµСЂР±СѓСЂРі, Р РѕСЃСЃРёСЏ</div><div class="si_slabel">23 РіРѕРґР°</div>
        </div>
    </a>

Прошу помочь с там, как вытаскивать

/durov из <a href="/durov"
/id274583833 из <a href="/id274583833"

Решение не важно, важен результат
Сам пробовал и AngelSharp, и Html Agility pack для меня проблема что нет id.

Answer 1

Парсить html - последнее дело... Попробую вам подсказать...

Вы правы, что vk выдает лишь 1000 по API. Но ключевое - это лимит на фильтр. Т.е. если вы разобьете ваши запросы на, скажем, пол, возраст (до месяца), гео признак, то перебор даст вам возможность использовать api.