Не могу подключить proxy к jsoup

314

25 апреля 2017, 06:20

Суть задачи распарсить страницу, вытащить список доменов, каждый из них проверить через jsoup(или нет?) на site:xdomain.com , дабы узнать количество страниц.Пробовал так:

System.setProperty("http.proxyHost", "195.178.146.166");
System.setProperty("http.proxyPort", "3133");
System.setProperty("https.proxyHost", "195.178.146.166");
System.setProperty("https.proxyPort", "3133");

ещё нашёл такие примеры:

Proxy proxy = new Proxy(
                Proxy.Type.HTTP,
                InetSocketAddress.createUnresolved("127.0.0.1", 8080)
              );
Document doc = Jsoup
                .connect(request)
                .proxy(proxy)
                .userAgent("Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")
                .timeout(5000).get();

В итоге результат никакой,со второго исполнения кода запрос перестаёт возвращать количество страниц. Может кто сталкивался?

Answer 1

Вы можете указать proxy-сервер напрямую, без создания отдельного объекта.

Document doc = Jsoup
                .connect(request)
                .proxy("<имя хоста>", <номер порта>)
                .userAgent("Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")
                .timeout(5000).get();