Парсер сайта на Python через BS

143
04 января 2020, 10:50

друзья Парсю я значит сайт используя Питон, через BS и requests, никого не трогаю Но потом замечаю что при выводе всего кода страницы, отсутствует значительная его часть. В коде страницы она отображается, но суп её почему то не видит. Как мне её спарсить?

вот пример

<div class="oaserecommendation section similar" data-recommendation-oase="{&quot;type&quot;:&quot;similar&quot;,&quot;shopID&quot;:&quot;CQ_DE_B2C&quot;, &quot;headline&quot;: &quot;Unsere Kunden hatten auch Interesse an&quot;, &quot;pageType&quot;: &quot;Product Details&quot;}"> 
  <span class="recommendation-headline">Unsere Kunden hatten auch Interesse an</span> 
  <div class="gallery gallery-js-ready autorotation-disabled" data-desktop="1" data-tablet="1" data-mobile="1"> 
    <div class="ccpProductSlideset ccpProductSlideset--square ccpProductSlideset--slides-10" data-slideset=""> 
      <div class="ccpProductSlideset__stage" data-slideset-stage=""> 
      </div> 
    </div> 
  </div>     
</div>

Первый div выводится, span тоже, а потом получаю кучу пустых тэгов, при попытке получить их содержимое функцией .contents[], естественно выдаёт None

READ ALSO
Автоматическая прокрутка скролла textarea в html

Автоматическая прокрутка скролла textarea в html

Подгружается с сервера страница с большим обьемом текста в textarea, до 10к строк

138
Какие есть средства для написания книг на HTML и (!) CSS?

Какие есть средства для написания книг на HTML и (!) CSS?

Если вбить с google "написание книг на html и css", то он google, проигнорировав слово "написание", решит, что мне нужны книги по html и css и выдаст что-то...

139
как в блоке div открыть страницу

как в блоке div открыть страницу

Помогите как в div блоке открыть страницу , фреим устаревшее решенияЭтот код не работает

119
Как спарсить динамическую часть сайта

Как спарсить динамическую часть сайта

Нужно спарсить с сайта стима это число, что на скриншоте, но проблема в том, что при парсинге html кода с помощью jsoup, этого числа там нету, тк

121