Парсинг с сайта, поясните

287
03 февраля 2019, 22:30

Меня интересует такой вопрос. Когда я делаю парсинг страницы ВК, бот выдает мне информацию на специфическом языке, на котором у меня локализован ВК.
Мои вопросы:

  1. Как происходит скачивание контента?
  2. Что видит аналитика сайта, когда заходит парсер?
  3. Что если написать бесконечны цикл, где бот будет бесконечно скачивать html-страницу? Это будет мини DNS-атака?
  4. Как бот вообще заходит (как???)?
  5. Делаю парсинг сайта, где есть выбор языка, как подключить прокси, чтобы он выдавал, к примеру, версию вк на English;

P.S использую Jsoup.

Answer 1

Использовать Jsoup вместе с прокси можно так:

Proxy proxy = new Proxy(                                      
        Proxy.Type.HTTP,                                      
        InetSocketAddress.createUnresolved("127.0.0.1", 8080) 
);
Document doc = Jsoup //
               .connect("http://www.example.com/") //
               .proxy(proxy) //
               .userAgent("Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2") //
               .header("Content-Language", "en-US") //
               .get();

Или так:

System.setProperty("http.proxyHost", "192.168.5.1");
System.setProperty("http.proxyPort", "1080");
Document doc = Jsoup.connect("www.google.com").get();
READ ALSO
Проверка цепочки x509 сертификатов

Проверка цепочки x509 сертификатов

Вопрос такой: У меня есть сертификат корневого УЦ (самоподписанный), промежуточный и ключ ЭЦП (PKCS12)Я из PKCS12 файла достаю сертификат, и теперь...

312
Что делает это участок кода? [закрыт]

Что делает это участок кода? [закрыт]

Считает и записывает в поле класса count количество добавленных элементов в HashSet, а больше и ничегоВсе остальное делает отцовский класс HashSet...

218
Анимация переворота карточки свайпом

Анимация переворота карточки свайпом

Интересует способ того, как сделать возможность поворачивать карточку свайпом, те

205
Vaadin 10 scopes: No VaadinSession bound to current thread

Vaadin 10 scopes: No VaadinSession bound to current thread

Щупаю Vaadin 10Если я правильно понял из туториала, при пользовании Spring-бинами нам нужно определить их область применения в Vaadin — VaadinSessionScope...

252