Парсер новых товаров

178
17 апреля 2017, 06:21

Приведу полный пример. Рассмотрим доску объявлений. Я хочу первый узнать о каком-либо товаре. Мне, к примеру, нужен acer aspire 5742g. Я выбираю ЦП, объем ОП, видюху и ценник. Как только появляется товар который подходит по моим фильтрам мне приходит смс. Т.е. объявления, которые были выложены ранее, мне не интересны. Таких фильтров может быть 50. Алгоритм такой:

  1. Бери фильтр, забирай страницу курлом.

  2. Собирай ИД товаров .

  3. Сравнивай их с уже имеющимися в БД.

  4. Если есть ИД которого нет в базе - отправляй СМС и добавляй его в бд.

  5. Иначе ничего не делай.

Проблема в том, что как только появляется N пользователей (для примера возьмем 100) и у каждого по 50 фильтров, то к этой доске объявлений по крону, каждую минуту, будет улетать по 5000 запросов (а если взять 1000 пользователей, то это вообще 50к =_=). От этого не избавишься, только если искать среди всех одинаковые фильтра и делать всего один запрос. Но это будут крупицы.

Ну и естественно сервер доски объявлений будет не рад такой активности... Купить Проксей? А сколько? Грубо говоря по 1-ой на юзера? Только такое решение? Буду рад послушать ваши мысли на этот счет!

READ ALSO
Построение библиотеки log4cplus в Visual Studio 2017

Построение библиотеки log4cplus в Visual Studio 2017

Скачал log4cplus 20, открыл в Visual Studio 2017 C:\log4cplus-2

197
Не загружается текстура в SFML

Не загружается текстура в SFML

Всё делаю как пишется в статье, окно открывается, но текстура не загружается

689