если гуляем по сайту через браузер, например откроем эту страницу
https:/xxxxxxx/product/fd751eba62c73330/surupovert-patriot-the-one-br-141/
сайт реагирует довольно быстро
Но если эту же страницу мы запросим например через консоль wget
wget https://xxxxxx/product/fd751eba62c73330/surupovert-patriot-the-one-br-141/
то она скачаетсягде то через 25-30 секунд.
как такое реализовать и как можно это обойти? наверно все дело в заголовках?
делал так
wget --referer=https://www.xxxx --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" https://www.xxxxx
не помогло, 21 секунду получает страничку! скорость 9кбит) вот каккк как они это сделали???
вся проблема была в заголовке, стоило мне добавить в запрос заголовок:
Accept-Encoding: gzip
данные стали прилетать быстро, но их потребовалось расшифровывать) но это полбеды, зато победил ужасно низкую скорость отдачи данных!
Данный код предназначен для локальной работы, используется php5, просьба не давать советы по поводу защиты или того что mysql_query и тд устарели
До недавних изменений в политики Facebook, можно было создать WWW приложение и следующим образом получать количество подписчиков: