Как работает Crawl Errors in Google?

216

29 августа 2017, 13:12

В Веб-мастер от Google, получил Crawl Errors. Показывает что на странице есть ссылки при переходе на которые получается 503 ошибка. Когда захожу на указанную страницу где есть эти ссылки, то в исходном коде данных ссылок нету.
Вопрос: Как работает данные сервис? Отключает ли скрипты при сканировании страницы или нет и тд.

Answer 1

По дефолту ПС не исполняют JS, поскольку это довольно ресурсозатратно.

Но при этом есть куча исключений и ньюансов.

Во первых чем более продвинутая ПС - тем больше у нее ресурсов, ведь например тот же Google в https://developers.google.com/speed/pagespeed/ замечательно исполняет JS, это видно на картинках рендеринга сайта справа, что мешает ему использовать это в спорных ситуациях? В то же время какой нибудь "Спутник" не может себе этого позволить.

Во вторых, существуют разного рода заплатки, которые могут анализировать простой JS, например ссылка через document.write наверяняка будет распознана почти всеми ПС. Вот исследование по теме http://devaka.ru/articles/complex-javascript-for-google, оно хоть и старое, но суть я думаю понятна.

Ну в третьих, есть еще браузеры. Например Chrome отстукивает в Google с какой страницы и куда ходит пользователь, и если он увидит что был переход со страницы А, на страницу Б через событие JS, то тут как ни шифруй - вряли что-то поможет.