Я делаю парсер, использую AnglesSharp и при попытке получить ресурсы сайта он кидает мне ошибку, мол слишком много запросов, хотя в этой тестовой программе я делаю его только один раз при запуске.
Я (в файле HtmlLoader) генерирую ссылку гугла, пример: https://www.google.com/search?q=%D0%BC%D0%B5%D0%BC&tbs=qdr:d&start=1&num=100
После этого делаю к ней запрос:
var response = await client.GetAsync(currentUrl);
В ответ на что, ловлю ошибку:
Подскажите, как обойти это или какие есть другие простые варианты спарисить эту страничку.
Ссылка на весь проект (гугл диск)
Основные этапы разработки сайта для стоматологической клиники
Продвижение своими сайтами как стратегия роста и независимости