Jsoup.connect() Получить документ полностью

165

21 марта 2021, 12:50

Проблема в следующем: использую библиотеку Jsoup для парсинга HTML страниц, но загвоздка в том, что на некоторых страницах некоторые элементы генерируются js при загрузке страницы (на мой взгляд равносильно подключению к этой странице. Однако, когда я получаю Document путем Jsoup.connect(url), я получаю все элементы, кроме тех, которые генерируются таким образом (в отличии от просмотра в браузере, например). Вопрос: Есть ли возможность получить документ в таком же виде, в каком я вижу его в Google Chrome - F12 - Elements?

Answer 1

С помощью JSOUP это невозможно. Так вы получите только статический контент, динамический не будет получен.

У вас 2 пути:

Изучить какой запрос отправляет сайт при подгрузке данных и отправлять его. Так вы получите данные, которые динамически сайтом подгружаются.
Используя Selenium эмулировать программно браузер и в нём, программно прокрутив страницу, получить динамически отображаемый HTML. Это сложный, долгий способ, но иногда только это и остаётся.