обойти сайты не нагружая сервера

114
07 сентября 2019, 17:40

Есть много доменов, которые нужно обойти, если начать в несколько потоков долбить сайты можно попасть на поддомены, принадлежащие одному сайту и словить бан или несколько сайтов хостятся у одного хостера и забанить может хостер.

Вопрос: как можно равномерно распределить запросы, чтобы ни сайт, ни хостер не банил?

Вариант использования прокси не подходит, т.к.:

  1. ожидаемые данные неизвестны
  2. время обхода увеличивается в 10 раз.

Мне на ум приходит только 1 вариант - распределять по ip, т.е. берём пачку 100000 доменов (уник) и проверяем, чтобы у них были разные ip. Но это не очень вариант, т.к. у 1 хостера более 1 ip на сервер скорее всего.

Может у вас есть какие мысли на этот счёт?

READ ALSO
Использование переменных при Ajax в WordPress

Использование переменных при Ajax в WordPress

Есть страница, на которой вывожу штук 20 постов

130
Расширить поля при оплате

Расширить поля при оплате

как добавить свои поля - type_pay(число),days(количество дней),user при оплате через paypal

136
Валидация большой формы

Валидация большой формы

Есть несколько больших форм, в которых сотни реквизитов, они заполняются вручнуюИ при сохранении нужно провести логический контроль заполненной...

123
Fatal error: Can't use function return value in write context in … 32 line

Fatal error: Can't use function return value in write context in … 32 line

При попытке активации темы wordpress ругается на ошибку в 32 cтрокеВот эта строка

107