Как они это сделали? огромная задержка при парсинге страниц

162

25 сентября 2018, 21:00

если гуляем по сайту через браузер, например откроем эту страницу

https:/xxxxxxx/product/fd751eba62c73330/surupovert-patriot-the-one-br-141/

сайт реагирует довольно быстро

Но если эту же страницу мы запросим например через консоль wget

wget https://xxxxxx/product/fd751eba62c73330/surupovert-patriot-the-one-br-141/

то она скачаетсягде то через 25-30 секунд.

как такое реализовать и как можно это обойти? наверно все дело в заголовках?

делал так

wget --referer=https://www.xxxx --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" https://www.xxxxx

не помогло, 21 секунду получает страничку! скорость 9кбит) вот каккк как они это сделали???

Answer 1

вся проблема была в заголовке, стоило мне добавить в запрос заголовок:

Accept-Encoding: gzip

данные стали прилетать быстро, но их потребовалось расшифровывать) но это полбеды, зато победил ужасно низкую скорость отдачи данных!

ТОП-10

Есть простой код :

179

Данный код предназначен для локальной работы, используется php5, просьба не давать советы по поводу защиты или того что mysql_query и тд устарели

180

пишу свой адрес

201

До недавних изменений в политики Facebook, можно было создать WWW приложение и следующим образом получать количество подписчиков:

172