Как работают поисковые боты?
У меня есть идея написать небольшой поисковик под свои задачи, сделал ряд парсеров для анализа нужных мне сайтов, но их очень быстро банят. Возник вопрос: как работает поисковой бот (к примеру Яндекса)? Ведь насколько я понимаю поисковой бот это тот же самый парсер, и ему нужно обойти сайт, но при этом сайты его не блокируют. Помогите разобраться как поисковые боты обходят сайты.
Заходят на главную страницу сайта и следуют по всем ссылкам на ней. На внутренних точно так же. У вас же проблема не с тем, как работает, а "почему не банят". Потому, что яндекс/гугл. Их узнают по заголовкам запроса и/или reverse DNS и если сайт хочет быть проиндексированным, то вынужден не блокировать поисковых роботов. Чтобы вас не блокировали можно:
- использовать прокси
- обходить сайты очень аккуратно, а не 5 потоков по 200 url/s
- использовать другой хостинг. Выш IP, с которого ходит бот может быть в каком-то блек-листе.
-
13:03
-
12:54
Айфон мало держит заряд, разбираемся с проблемой вместе с AppLab
-
21:25
-
07:04
-
07:46
-
21:56
Перевод документов на английский язык: Важность и ключевые аспекты
-
20:52
-
11:43
-
07:54
Какие существуют виды рекламных бордов и как выбрать подходящий?
- Почему SERVER_ADDR имеет не тот IP 47537 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 30486 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 23612 visits
- Как через css изменить цвет png изображения? 10340 visits
- Blob video url download 9949 visits
- Php curl запрос через прокси с авторизацией 9201 visits
- Работа с captcha vk api 8081 visits
© "hostciti.net" 07.11.2024 | 06:36