Чому сайт не проходить процес індексації?

При зайнятті просуванням бізнесу в онлайні невід'ємною частиною роботи стає моніторинг індексації сторінок вашого сайту. На перший погляд, може виникнути кілька питань: "Навіщо це потрібно?" (відповідь: щоб ваш сайт був виявлений користувачами в пошуковій видачі), " Де можна перевірити індексацію сайту? " та " Як вчинити, якщо сайт не проіндексований? ".

Розберемося з цими питаннями у цьому матеріалі.

Як провести перевірку індексації сайту

Перш ніж розпочати просування сайту, важливо оцінити його видимість у популярних пошукових системах. Оцінити видимість, наприклад, можна за допомогою спеціалізованих інструментів, таких як Serpstat.

Для оцінки видимості сайту достатньо ввести домен у пошуковий рядок та здійснити пошук. Однак цей показник відносний і вимагає порівняння з основними конкурентами.

Якщо рівень видимості низький, необхідно перевірити індексацію веб-ресурсу та додати інформацію про нього до бази даних пошукових систем.

Найпростіший спосіб перевірити індексацію – скористатися вебмастерською панеллю . Для цього потрібен доступ до неї (через пошту Google та реєстрацію-ідентифікацію). За наявності доступу переходимо до Панелі, вибираємо Search Console та переходимо до розділу Індекс Google. Тут можна побачити статус індексування.

Індексація сайту – це результат роботи пошукового робота. Робот сканує тексти, зображення, відео, а потім додає інформацію про веб-сторінку до бази пошукової системи. Цей процес дозволяє користувачам отримувати актуальні результати на свій запит. Інформація, зібрана роботом, впливає на ранжування сайтів у пошуковій системі.

Візьмемо, наприклад, сайт відомого Бердичівського пивоварного заводу – https://berdpivo.com.ua/

Тепер розглянемо докладніше причини, через які пошукові системи можуть не проіндексувати ваш сайт.

Google поки не помітив ваш веб-ресурс

Іноді буває так, що Google просто не звертає уваги на ваш сайт, особливо якщо він новий. Це часто відбувається через те, що молоді сайти потрапляють у так звану "Пісочницю" – це своєрідне тимчасове сховище для веб-ресурсів, доки пошукова система не розбереться, що це за сайт, який його характер, і кому він призначений.

Якщо ваш сайт вже існує більше 6 місяців (максимальний час перебування в Пісочниці), але його "видимість" все ще залишає бажати кращого, можливо причиною є фільтри пошукових систем. Це може бути викликано неунікальним контентом (скопійованим з інших джерел) або наявністю матеріалів, що виходять за рамки моральних норм, які закликають до насильства або не мають підтвердженої експертизи.

Наприклад, на сайті, присвяченому виробництву пива, відсутні імена авторів, які рекомендують цей товар.

Якщо ваш сайт не є новим, і з контентом все гаразд, теоретично необхідно дати пошуковим системам час для його індексації в Google – щонайменше 2 тижні.

Проте процес можна прискорити. Для того, щоб пошуковики швидше звернули увагу на ваш сайт, рекомендується вручну додати його в пошукову систему (використовуючи "Add URL") та в Google Search Console.

Як досягти індексації сайту в Google?

Для цього важливо регулярно оновлювати контент (що особливо актуально для сайтів новин), створювати нові сторінки (це важливо для блогерів та інтернет-магазинів з зростаючим асортиментом) і проводити внутрішню перелінкування сторінок, спільно з отриманням посилань від авторитетних зовнішніх ресурсів.

Google Search Console

Додавання сайту до Google Search Console (Гугл вебмайстер) – це легкий процес, і ось докладна інструкція:

1. Відкрийте Google Search Console
   Першим кроком є ​​відвідування офіційного сайту Google Search Console ( https://search.google.com/search-console/ ).

2. Перейдіть до Інструмент перевірки URL
   Усередині консолі знайдіть розділ "Інструмент перевірки URL" або "URL Inspection Tool" і клацніть по ньому.

3. Вставте URL сайту
   У інструменті, що відкрився, введіть або вставте URL вашого сайту в рядок пошуку.

4. Чекайте на перевірку Google
   Після введення URL-адреси зачекайте, поки Google проведе перевірку вказаної адреси. Це може тривати деякий час залежно від різних факторів.

5. Запросіть індексацію
   Після перевірки ви побачите результати. Якщо сайт не проіндексований або ви хочете оновити індексацію, натисніть кнопку "Запросити індексування" або "Request Indexing".

Таким чином, ви повідомите Google про необхідність проіндексувати ваш сайт або оновити інформацію про нього. Цей процес допомагає прискорити індексацію та зробити ваш сайт доступним у пошуковій видачі Google.

Не забувайте, що для виконання цих дій потрібно мати обліковий запис Google і додати свій сайт до Google Search Console. Якщо ви цього ще не зробили, вам доведеться дотримуватися простої процедури додавання сайту перед виконанням перерахованих вище кроків.

Закриті сайт або сторінки в robots.txt

Файл robots.txt є потужним інструментом для управління поведінкою пошукових роботів, у тому числі і Google. Цей файл містить інструкції, які визначають, які сторінки пошукові роботи можуть оброблятися на вашому сайті. Цей файл дозволяє штучно обмежувати кількість запитів на сканування, що може знизити навантаження на сервер, особливо для менш важливої ​​або повторюваної інформації.

Для того, щоб сторінка не відображалася в результатах пошуку Google, можна також додати директиву noindex.

Приклад файлу robots.txt для сайту https://berdpivo.com.ua/robots.txt

User-agent: *
Disallow: /закрита-сторінка/

Навіть якщо ви забороните індексацію в robots.txt для певної веб-сторінки, вона все одно може бути проіндексована Googlebot, якщо на неї є посилання з інших сайтів. Це застосовується лише до контенту у форматі HTML. Заблоковані файли у форматах PDF, зображення або відео будуть надійно приховані від Google. Щоб гарантовано виключити індексацію сторінки з контентом у форматі HTML у Google, слід використовувати директиву noindex у мета-тезі або в заголовку HTTP відповіді.

Далі наведено приклади директив у robots.txt, які дозволяють роботам Google сканувати веб-ресурс:

User-agent: Googlebot
Disallow:

User-agent: AdsBot-Google
Disallow:

User-agent: Googlebot-Image
Disallow:

Ці рядки дозволяють роботам Googlebot, AdsBot-Google та Googlebot-Image сканувати веб-ресурс.

Увімкнено конфіденційні налаштування

Іноді пошуковий робот Google не індексує веб-сайт з наївної причини – у системі керування контентом (CMS) активовано конфіденційні налаштування. CMS є движок веб-сайту, такий як WordPress, Joomla, OpenCart. CMS - це набір скриптів, що забезпечують створення, редагування та керування вмістом на сайті. Для забезпечення процесу індексації сторінки необхідно перевірити параметри сторінки конкретної CMS.

Сайт відмічено як не підлягає індексації з використанням метатегів noindex

Мета-теги (HTML) необхідні для структурування вмісту веб-сторінки і зазвичай вказуються в заголовку HTML-документа. Обов'язковим елементом є атрибут вмісту, до якого додаються додаткові параметри.

Присутність метатегу noindex nofollow показує, що пошукові роботи не повинні індексувати цю сторінку. Заборона може бути зумовлена ​​тимчасовим характером вмісту сторінки, призначенням для друку або конфіденційною інформацією. Детальні інструкції щодо закриття сторінки для індексації можна знайти на нашому веб-сайті.

Приклад використання метатегу meta noindex у HTML-документі, який блокує доступ пошукового бота Google:

<meta name="googlebot" content="noindex">

Для запобігання індексації сторінки ботом MSN використовуємо "чарівні слова":

<meta name="msnbot" content="noindex">

Для скасування заборони на індексацію цілої сторінки видаляємо ключове слово "noindex" із коду.

Наявність метатегу robots у коді сторінки, що поєднується з ключовим словом noindex, вказує пошуковим роботам на заборону індексації сайту Google.

Приклад коду метатегу robots із забороною індексації в HTML-документі:

<meta name="robots" content="noindex">

Де шукати інформацію про метатег robots noindex? Відвідайте Google Search Console. Відкрийте розділ "Індекс", виберіть "Покриття" та перейдіть у вкладку "Виключено". Якщо вказано, що індексація сторінки заборонена тегом rel noindex, стає ясною причина закриття веб-ресурсу для індексації. Не забудьте зняти заборону, якщо ви шукаєте способи проіндексувати сторінку Google.

Проблеми під час сканування

Помилки при скануванні можуть призвести до призупинення індексації в Google, зниження рейтингу сайту в пошуковій видачі та впливу на загальне сприйняття відвідувачами веб-ресурсу. Фахівці виділяють три основні групи причин помилок під час сканування:

1. Неправильні установки сервера.

2. Збої у системі управління контентом (CMS).

3. Зміни у структурі URL.

Помилки сканування можна знайти за допомогою інструментів Google Search Console. Для цього необхідно зайти до розділу статистики сканування веб-ресурсу. Якщо ви визначили конкретну помилку, поряд з нею має бути пояснення для веб-майстра, включаючи причину виникнення та методи усунення. Тим не менш, ми також надали вам текст з інструкцією з усунення помилок при скануванні. Скористайтеся ним!

Важливо! Інформація в Search Console надходить з невеликою затримкою, тому помилки можуть бути усунені, але вони можуть все ще відображатися в консолі.

Сайт обмежений у .htaccess

Один із способів обмеження доступу до веб-ресурсу полягає у блокуванні у файлі .htaccess. Цей захід вживається з метою запобігти випадковим відвідувачам доступу до певних файлів, папок або адміністративної панелі сайту. Власник не бажає встановлювати пароль для цих структурних елементів, але не хоче допускати несанкціонованих відвідувачів. Для цього у папці з конфіденційною інформацією створюється файл із ім'ям .htaccess.

Приклад коду для заборони доступу до файлу file.php за IP-адресою виглядає так:

Після застосування цього коду всі запити до вказаного файлу з чужого IP завершуватимуться відповіддю 403 "Доступ заборонено". Якщо власник ресурсу хоче обмежити доступ до всіх файлів з певним розширенням, перший рядок матиме вигляд: <Files "*.conf">. Якщо є кілька розширень, їх можна вказати через роздільник, наприклад: .

Для перевірки застосування цих обмежень, необхідно знайти файл .htaccess на сервері та уважно вивчити його вміст. Цей варіант слід розглянути, коли досліджується причина обмеження доступу до сайту для пошукових систем.

Нестабільна робота хостингу чи сервера

Якщо хостинг або сервер зазнають перебої в роботі, це може спричинити невдалу індексацію. Уявіть собі ситуацію: пошуковий бот приходить на сайт, готовий проіндексувати сторінки, а жодної сторінки недоступне через проблеми з хостингом чи сервером.

Тому завдання власника ресурсу полягає в тому, щоб забезпечити високу якість роботи сервера та стабільність хостингу.

Моніторинг стану доступу до сайту можна здійснювати за допомогою різних сервісів. Пошук таких сервісів на запит "uptime checker" надасть безліч варіантів інструментів, які допоможуть відстежувати стабільність роботи хостингу. 

Проблеми з AJAX/JavaScript

Хоча Google індексує AJAX та JavaScript, це відбувається не так просто, як у випадку HTML. Розробнику необхідно налаштувати процеси індексації AJAX та JavaScript вручну, щоб забезпечити успішну індексацію сайту та потрібних сторінок. Для вирішення проблем з видимістю сайтів на JavaScript-движках можна звернутися до думки експертів та використати відповідні методи.

Дубльований контент

Присутність дубльованого контенту у 2021-2022 роках може стати серйозною причиною санкцій пошукових систем. Після введення фільтрів, особливо алгоритму Панди, важливо уникати дубльованого контенту, щоб уникнути штрафів. Фахівці SEO розробили ефективні методи оптимізації, що дозволяють уникнути проблем із дубльованим контентом, не порушуючи при цьому оптимізацію.

Дубльований контент може бути як на рівні сторінок, так і метатегів. Для виключення дубльованого контенту необхідно спочатку виявити всі дублікати сторінок на сайті, а потім видалити або закрити їх від індексації. 

Повільна швидкість завантаження сайту

Низька швидкість завантаження сайту є одним із критично важливих факторів у ранжируванні пошукових систем та попаданні у верхню десятку результатів. Цей показник включає час запиту до стороннього сервера, його відповідь, завантаження скриптів, стилів, зображень, а також компіляцію сторінки і її малювання на стороні користувача. Дослідження підтверджують, що більшість користувачів втрачають інтерес, якщо сторінка завантажується понад 3 секунди.

Швидкість завантаження сайту безпосередньо впливає на конверсію, зменшує відмови, підвищує глибину перегляду сторінок, що зрештою сприяє зростанню середнього чека та загальної виручки. Якщо сайт демонструє тривале завантаження, пошукові системи можуть недооцінювати його в процесі індексації.

Для покращення швидкості завантаження сайту можна застосувати такі заходи:

1. Оптимізація зображень
   Зменшення розміру зображень, видалення зайвих, використання форматів із підтримкою стиснення.

2. Стиснення gzip
   Компресія даних перед їх передачею клієнту за допомогою gzip може значно скоротити обсяг інформації, що передається.

3. Кешування даних
   Використання кешування для прискорення доступу до ресурсів та зниження навантаження на сервер.

4. Оптимізація коду CSS та JavaScript
   Скорочення обсягу коду та видалення елементів, що не використовуються.

5. Дослідження швидкості завантаження сторінок
   Проведення аналізу швидкості завантаження з метою виявлення слабких місць та їх подальшого усунення.

Навіть невелике покращення часу завантаження, наприклад, на 0,5 секунд, може значно підвищити ефективність сайту в 80% випадків. Додаткові способи прискорення завантаження верхньої частини сторінки сайту, такі як оптимізація заголовків (header), можуть бути вивчені у відповідних посібниках та мануалах.

Ваш домен раніше було заблоковано

Іноді веб-майстер створює чудовий сайт, підбирає до нього привабливий домен, створює стильний дизайн, наповнює його унікальним та експертним контентом, проводить внутрішню перелінковку, налаштовує систему зворотних посилань, але пошукові системи не бачать цей веб-ресурс. Як забезпечити відображення сайту у пошуковику? Причиною цієї проблеми може бути використання домену, який раніше було заблоковано.

Щоб вирішити це питання, рекомендується:

1. Продовжуватиме активний розвиток проекту.

2. Зв'язатися з Google або звернутися до форуму для з'ясування причин блокування та подальшого усунення проблеми.

3. Можливо, розвивати проект на іншому домені, щоб заощадити час та ресурси.

Відсутність sitemap на сайті

Однією з можливих причин невидимості сайту для пошукових систем є відсутність sitemap (карта сайту) на сайті. Пошукові боти, заходячи на сайт, випадково індексують лише кілька сторінок, після чого, задоволені результатами, залишають його. Створення та налаштування картки сайту (sitemap.xml) для Google може вирішити цю проблему. Ось одна з кращих інструкцій щодо створення та налаштування карти сайту для Google, яку можна додати до Google Search Console.

Приклад карти сайту: https://berdpivo.com.ua/sitemap.xml

Корисно! Якщо потрібно, можна переглянути відеоінструкцію щодо створення XML карти сайту.

Створення картки сайту може бути масштабним та важливим процесом, особливо для динамічних інформаційних ресурсів. Для блоків новин часто створюють окрему XML карту сайту, відправляють запит в Новини Google і додають її в news.google.com, щоб пошукові роботи могли швидше знаходити і індексувати такий контент.

Крім того, для зображень може бути створена окрема карта сайту – Image sitemap XML. Це необхідно для швидкої та правильної індексації зображень. Ми надаємо докладний мануал створення XML карти сайту для зображень.