Библиотека JSOUP

391
11 мая 2017, 11:07

Всем привет! хотел распарсить вес список статьи с сайта (имя статьи и ссылку) Ссылка сайта- Ccылка на сайт

вот мой рабочий код

//мэп для сохр имя статьи и ссылку
    Map<String, String> map = new HashMap<String, String>();
    // maim URL
    String url = "http://xn--90aw5c.xn--c1avg/index.php?";

    StringBuilder builder = new StringBuilder();
    builder.append(url)
            .append("title=").append(URLEncoder.encode("Служебная", "UTF-8"))
            .append("%3").append(URLEncoder.encode("AУказатель", "UTF-8"))
            .append("+").append(URLEncoder.encode("по", "UTF-8"))
            .append("+").append(URLEncoder.encode("началу", "UTF-8"))
            .append("+").append(URLEncoder.encode("названия", "UTF-8"))
            .append("&prefix=&namespace=0");
    //вывод полный ссылку на сайт
    System.out.println(builder.toString());

    Document doc = Jsoup.connect(url + "title=Служебная%3AУказатель+по+началу+названия&prefix=&namespace=0").userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
            .referrer("http://www.google.com").get();
    Elements linksElements = doc.select("table.mw-prefixindex-list-table").select("tbody").select("tr");
    System.out.println("linksElements = " + linksElements.size());
    List<String> links = new ArrayList<String>();
    for (Element tr : linksElements) {
        Elements td = tr.select("td");
        for (Element tdLinks : td) {
            links.add(tdLinks.select("a").attr("abs:href"));
        }
    }
    //вывод на черный экран links and titles
    for (String link : links) {
        System.out.println("Link: " + link);
        Document article = Jsoup.connect(link).userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
                .referrer("http://www.google.com").timeout(10000).get();
        String title = article.select("h2.title").text();
          System.out.println("title = " + title);
        map.put(link, title);
    }

и этот код парсит только одну страницу, а мне надо перейти на следующую страницу и заново парсит список статьи , и до конца!

Как мне сделать через рекурсивный метод или что -то чтобы получить в Map-e весь ссылку на статьи

READ ALSO
Cannot resolve symbol R

Cannot resolve symbol R

Здравствуйте помогите пожалуйста, удалил, файл xml, захотел скомпилировать приложение и по всему пошла запись Cannot resolve symbol R, уже все перепробовал,...

281
Кaк залить область цветом?

Кaк залить область цветом?

Создаю графический редактор на JavaКак реализовать заливку области? Какая функция?

481
Java пример livelock

Java пример livelock

Как livelock выглядит в коде ? В интернете найдены лишь примеры с жизнью, где встречаются люди в коридоре

467
Как программно декомпилировать resources.arsc?

Как программно декомпилировать resources.arsc?

Стоит задача, декомпилировать resourcesarsc из apk чтобы достать colors

424