Есть много доменов, которые нужно обойти, если начать в несколько потоков долбить сайты можно попасть на поддомены, принадлежащие одному сайту и словить бан или несколько сайтов хостятся у одного хостера и забанить может хостер.
Вопрос: как можно равномерно распределить запросы, чтобы ни сайт, ни хостер не банил?
Вариант использования прокси не подходит, т.к.:
Мне на ум приходит только 1 вариант - распределять по ip, т.е. берём пачку 100000 доменов (уник) и проверяем, чтобы у них были разные ip. Но это не очень вариант, т.к. у 1 хостера более 1 ip на сервер скорее всего.
Может у вас есть какие мысли на этот счёт?
Сборка персонального компьютера от Artline: умный выбор для современных пользователей