Как спарсить данные защищенные Incapsula?

89
04 июня 2021, 23:10

Есть список лотов данные в котором появляются динамически из POST запроса после загрузки страницы. Когда я пытаюсь с помощью GuzzleHttp отправить этот же POST запрос со всеми headers и body, в ответ получаю вот такое:

<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe id="main-iframe" src="/_Incapsula_Resource?SWUDNSAI=29&xinfo=14-132933615-0%200NNN%20RT%281566043897855%2068%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=245000960081624132-401533168214410766&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 245000960081624132-401533168214410766</iframe></body></html>

На сколько я понял, на сайте стоит защита от парсеров Incapsula, которая пытается выполнить javascript код, который установит нужные cookie.

Возможно ли обойти защиту без использования javascript?
Например, получать эти cookie, используя API какого-то с эмулятора браузера.

Пример моего запроса:

READ ALSO
Проблема с переключением языка на странице

Проблема с переключением языка на странице

на второй странице сайта есть возможность смены языка , но язык меняется только со второй попытке, когда на главной странице смена языка реагирует...

104
Почему Servlet имеет такое название?

Почему Servlet имеет такое название?

Почему "Servlet" имеет такое название? От куда пошло это название? От чего оно происходт?

100
Как отбросить все после второй точки?

Как отбросить все после второй точки?

Я из ListView вытягиваю значения между двумя знаками $Проблема в чем ниже представлен код и он хорошо работает

69
Не очевидное поведение дженериков

Не очевидное поведение дженериков

Есть вот такой java класс:

113