Приведу полный пример. Рассмотрим доску объявлений. Я хочу первый узнать о каком-либо товаре. Мне, к примеру, нужен acer aspire 5742g. Я выбираю ЦП, объем ОП, видюху и ценник. Как только появляется товар который подходит по моим фильтрам мне приходит смс. Т.е. объявления, которые были выложены ранее, мне не интересны. Таких фильтров может быть 50. Алгоритм такой:
Бери фильтр, забирай страницу курлом.
Собирай ИД товаров .
Сравнивай их с уже имеющимися в БД.
Если есть ИД которого нет в базе - отправляй СМС и добавляй его в бд.
Иначе ничего не делай.
Проблема в том, что как только появляется N пользователей (для примера возьмем 100) и у каждого по 50 фильтров, то к этой доске объявлений по крону, каждую минуту, будет улетать по 5000 запросов (а если взять 1000 пользователей, то это вообще 50к =_=). От этого не избавишься, только если искать среди всех одинаковые фильтра и делать всего один запрос. Но это будут крупицы.
Ну и естественно сервер доски объявлений будет не рад такой активности... Купить Проксей? А сколько? Грубо говоря по 1-ой на юзера? Только такое решение? Буду рад послушать ваши мысли на этот счет!
Современные инструменты для криптотрейдинга: как технологии помогают принимать решения
Апостиль в Лос-Анджелесе без лишних нервов и бумажной волокиты
Основные этапы разработки сайта для стоматологической клиники
Продвижение своими сайтами как стратегия роста и независимости