Парсер не переходит на другую страницу

158
11 мая 2019, 15:00

Пишу парсер, учусь, вот код:

public class TP {
public static Document getPage() throws MalformedURLException, IOException {
String url = "https://steamcommunity.com/market/";

Document page = (Jsoup.parse(new URL(url), 3000));
 return page;
}

public static void main(String[] args) throws MalformedURLException, IOException {
    TM();
}

public static void TM() throws MalformedURLException, IOException {
    Document page = getPage();
    for (int i = 0; i <= 3; i++) {
        page = Jsoup.connect("https://steamcommunity.com/market/search?appid=570#p"+i+"_popular_desc").get();
        Element allPage = page.selectFirst("div[id=mainContents]");
        Elements weap = allPage.select("a[class=market_listing_row_link]");
        for (Element data : weap) {
                String name = data.select("span[class=market_listing_item_name]").text();
                String quantity = data.select("div[class=market_listing_right_cell market_listing_num_listings]").text();
                String price = data.select("span[class=market_table_value normal_price]").text();
                System.out.println(name + "    " + quantity + "   " + price );
          }
       }
    }
  }

Использовал этот же способ для перехода по страницам с другим сайтом - все работало, с этим почему-то просто несколько раз повторяются данные с одной страницы (в данном случае 3 раза), а не парсится последовательно 3 страницы, как должно быть

Answer 1
https://steamcommunity.com/market/search?appid=570#p0_popular_desc

возвращает пустую страницу, отсчёт необходимо выполнять с i = 1

for (int i = 1; i <= 3; i++)
READ ALSO
Как передать @ConfigurationProperties в сервис?

Как передать @ConfigurationProperties в сервис?

Имеется класс конфига:

120
Почему не вызывается повторно метод onGetViewFactory?

Почему не вызывается повторно метод onGetViewFactory?

При запуске виджета метод onGetViewFactory запускается и создается объект ViewsFactory и вызываеться метод onCreate

154
Как распарсить Json, пришедший от response

Как распарсить Json, пришедший от response

Делаю String jsonStr = responsejson(), чтобы получить данные с ApiVk В итоге я получаю

154
Различие в результатах работы javac и Eclipse Compiler for Java

Различие в результатах работы javac и Eclipse Compiler for Java

Столкнулся с интересным различием поведения компиляторов javac и Eclipse Compiler for Java помогите разобраться почему их поведение отличается и какое...

161