Как спарсить данные защищенные Incapsula?

151

04 июня 2021, 23:10

Есть список лотов данные в котором появляются динамически из POST запроса после загрузки страницы. Когда я пытаюсь с помощью GuzzleHttp отправить этот же POST запрос со всеми headers и body, в ответ получаю вот такое:

<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe id="main-iframe" src="/_Incapsula_Resource?SWUDNSAI=29&xinfo=14-132933615-0%200NNN%20RT%281566043897855%2068%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=245000960081624132-401533168214410766&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 245000960081624132-401533168214410766</iframe></body></html>

На сколько я понял, на сайте стоит защита от парсеров Incapsula, которая пытается выполнить javascript код, который установит нужные cookie.

Возможно ли обойти защиту без использования javascript?
Например, получать эти cookie, используя API какого-то с эмулятора браузера.

Пример моего запроса: