Представьте ситуацию: вы написали крутую статью, сверстали карточку товара, нажали «Опубликовать» и ждёте трафик. Проходит день, два, неделя… Тишина. Вы вбиваете запрос — вас нет.
Проблема не в позициях. Проблема в том, что поисковик вообще «не знает» о существовании этой страницы. Она не в индексе (не в базе данных). Для Google её просто нет.
Давайте разбираться, как это проверить и найти причину.
Почему страница «невидима» для Google
Индексация — это момент, когда поисковик не просто «увидел» вашу страницу, а решил добавить её в свою базу. До этого момента она будто не существует: не участвует в ранжировании, не может получать трафик и вообще никак не влияет на проект.
Причины, почему страницы нет в индексе, обычно сводятся к трём группам:
— Поисковик ещё просто не дошёл до страницы. Новый сайт, слабая перелинковка, мало внешних ссылок — робот сканирует всё медленно, с задержкой.
— Поисковик дошёл, но не смог её правильно прочитать. Ошибки сервера, кривые редиректы, запреты в robots.txt, noindex, nofollow, каноникал на другое место — технические блоки.
— Поисковик всё прочитал, но решил, что страница не нужна. Слабый, дублирующий или «тонкий» контент, отсутствие ценности, технический мусор.
Дальше мы по шагам разберём, как понять, в какую именно группу попала ваша страница.
Дедовский метод: оператор site:
Это самый быстрый способ понять, видит ли поисковик ваш сайт в принципе. Вбиваете в строку поиска Google или Яндекса конструкцию:
site:ваш-сайт.ru
Поисковик покажет список страниц, которые есть в его базе. Здесь есть важный нюанс: цифра «Результатов: примерно 150» — это очень грубая оценка, а не точный счётчик. На сайте в 10 000 страниц Google может написать «5 000», а реально в индексе будет 9 000.
Зато этот метод идеален для точечной проверки конкретных URL.
Как проверить конкретную страницу:
Вводите: site:ваш-сайт.ru/konkretnaya-stranica
Если поиск ничего не выдаёт — страницы в индексе нет. Всё. Точка. Можно двигаться дальше и разбирать, почему так.
Google Search Console: главный пульт управления индексацией
Если вы до сих пор не пользуетесь Google Search Console (GSC), вы работаете вслепую. Это единственный источник честной и детальной информации от самого Google.
В GSC есть два ключевых инструмента: один — для проверки конкретного URL, второй — для общего обзора по сайту.
Инструмент проверки URL (верхняя строка поиска)
Вставляете ссылку на проблемную страницу в верхнее поле внутри Search Console и нажимаете Enter. Через пару секунд Google выдаёт вердикт.
Если видите «URL есть в Google» (зелёные галочки). Технически всё нормально. Если трафика нет — причина в другом: конкуренты сильнее, плохой текст, слабые поведенческие факторы, но с индексацией порядок.
Если видите «URL нет в Google» (серый статус). Здесь начинается самое интересное. Нажмите «Проверить страницу на сайте» (Test Live URL).
Задача — понять, не может ли Google попасть на страницу физически, или он может, но просто не хочет её индексировать.
Если тест показывает, что страница доступна для сканирования (код 200, нет запретов), но в индексе её нет — значит, Google считает её недостаточно качественной или нерелевантной.
Отчёт «Страницы» — панорамный взгляд
Переходите в «Индексация → Страницы». Проматываете вниз до блока «Почему страницы не индексируются». Здесь Google группирует ваши URL по статусам, и именно тут скрыто 90% ответов.
Два самых частых и сложных для новичков статуса:
Статус 1: «Обнаружена, не проиндексирована» (Discovered – currently not indexed)
Перевод с гугловского на человеческий: «Я нашёл ссылку на эту страницу, поставил её в очередь, но даже не стал заходить. У меня есть более важные задачи, вернусь позже. Возможно».
О чём это говорит:
— проблемы с краулинговым бюджетом (лимит действий робота); — плохая структура сайта: страница лежит слишком глубоко; — мало внутренних ссылок, робот не считает её важной.
Статус 2: «Просканирована, но пока не проиндексирована» (Crawled – currently not indexed)
Это уже красный флажок. Перевод на человеческий: «Я был на странице, всё прочитал, но не нашёл ничего, ради чего стоит добавлять её в поиск. Похожего у меня и так полно».
Типичные причины:
— неуникальный текст (копипаст с других сайтов или описания поставщика); — «тонкий» контент (пара строк без пользы); — дубль другой страницы (почти один и тот же текст, только другой URL); — отсутствие добавочной ценности (нет фото, таблиц, примеров, FAQ).
Яндекс.Вебмастер: честный статус «Недостаточно качественная»
В Яндексе похожая информация лежит в разделе «Индексирование → Страницы в поиске». Там вы увидите, какие URL уже есть в базе, а какие вылетели или так и не попали.
Ключевой статус, на который стоит смотреть:
«Недостаточно качественная»
Если Яндекс отправил страницу в этот список, «насильно» загнать её обратно в индекс не получится. Можно жать переобход, отправлять sitemaps, но итог будет один: робот снова её увидит и снова выкинет.
Решение одно: серьёзно менять страницу. Переписывать текст, усиливать структуру, добавлять медиа, ответы на вопросы и полезные блоки. Только после этого есть смысл просить переобход.
Массовая проверка индексации: как проверить сотни URL за раз
Когда нужно проверить не одну-две страницы, а целый раздел или весь сайт, точечные проверки становятся мучением.
Важно сравнить:
— какие страницы существуют на сайте; — какие из них реально присутствуют в базе Google или Яндекса.
Обычные краулеры (которые просто ходят по ссылкам) видят только структуру сайта. Им нужно помочь достать статусы из поисковиков.
Для Google: Screaming Frog + API Search Console
Это самый «белый» и точный метод.
Как это делается:
Открываете Screaming Frog → в настройках API Access подключаете Google Search Console → логинитесь под нужным аккаунтом → во вкладке URL Inspection включаете опцию «Enable URL Inspection» → запускаете скан сайта.
На выходе получаете таблицу, где напротив каждого URL будет статус: Indexed / Not Indexed и причина. Это можно выгрузить в Excel и отдать контент-менеджеру или разработчику.
Для Яндекса: ComparseR (Компоузер)
Это легендарная утилита в рунет-SEO. Интерфейс у неё старомодный, но она отлично решает задачу массовой проверки.
Вы загружаете список URL, выбираете способ проверки (через XML-лимиты или аккуратные запросы) — и программа по каждому адресу смотрит, есть ли он в выдаче Яндекса. Для коммерческих проектов это до сих пор мастхэв.
Как ускорить индексацию: IndexNow и Google Indexing API
Вы нашли страницы, которых нет в поиске. Контент хороший, ошибок нет, но робот просто до них не дошёл или отложил в долгий ящик. Здесь можно аккуратно «пнуть» систему.
Способ 1. IndexNow (для Яндекса — особенно важно)
Протокол IndexNow позволяет самому сообщать поисковикам, что вы создали новую страницу или обновили старую. Вместо того чтобы ждать, пока робот случайно до неё доберётся, вы буквально стучитесь к нему в дверь.
На WordPress это обычно решается плагином от IndexNow, в Битриксе — через готовые модули. После настройки новые и обновлённые URL автоматически отправляются поисковику, и робот приходит за ними в разы быстрее.
Способ 2. Google Indexing API (секретное оружие)
Официально Google говорит, что этот API нужен для вакансий и прямых эфиров. Неофициально — им активно пользуются SEO-специалисты для важных страниц: статей, карточек товаров, посадочных.
Ручная настройка через Google Cloud довольно сложна (нужно создавать проект, получать ключи).
Но есть упрощённые варианты:
— плагины для WordPress («Instant Indexing for Google» и аналоги); — простые скрипты и боты, которые отправляют список URL через API.
Важно не злоупотреблять. Если вы начнёте массово пушить через API дубли, пустые страницы и откровенный мусор, Google может урезать или отключить доступ к API. Используйте его только для действительно важных URL.
Что делать с ошибкой «Просканировано — не проиндексировано»
Вернёмся к самому болезненному статусу. Робот заходил на страницу, всё посканировал, но в индекс не взял. В такой ситуации простое «Запросить индексирование» обычно ничего не даёт: робот ещё раз зайдёт, ещё раз убедится, что страница слабая — и снова откажется её добавлять.
Здесь нужно не «пинать робота», а лечить саму страницу. Мой базовый чек-лист:
— Уникальность и полнота текста. Если вы взяли описание у поставщика или переписали чужую статью с минимальными изменениями — Google это видит. Перепишите хотя бы первые абзацы, добавьте свои комментарии, структуру, примеры, FAQ, медиа.
— Внутренние ссылки. Страница-сирота с одной ссылкой где-то в глубине каталога воспринимается как неважная. Поставьте на неё 2–3 ссылки с трафиковых статей, обзоров, главной или важных разделов. Покажите роботу, что вы эту страницу цените.
— Живые переходы. Если у вас есть рассылка, соцсети или Telegram-канал, аккуратно киньте туда ссылку на обновлённую страницу. Живой трафик и взаимодействие пользователей — сильный сигнал для пересмотра отношения к URL.
Итоги: индексация — это техника, а не магия
Индексация — это не загадочный «кармический» процесс, а вполне понятная техническая цепочка действий.
Короткий план:
— Проверяем статус в Google Search Console (URL-инспекция + отчёт «Страницы»). — Сверяем фактический список URL с тем, что в индексах (Screaming Frog + ComparseR). — Внедряем IndexNow для Яндекса и, при необходимости, Google Indexing API. — Лечим слабые страницы: контент, ссылки, поведение пользователей.
Не гонитесь за 100% индексацией. Технические страницы (корзина, фильтры, админка, служебные разделы) в индексе не нужны. Главное — чтобы там были ваши ключевые статьи, категории и карточки товаров, которые реально могут приносить деньги.
Через сколько после публикации страница должна попасть в индекс?
Универсального срока нет. На молодых сайтах это может занимать от нескольких дней до нескольких недель. На прокачанных проектах с хорошими ссылками и картой сайта — от нескольких часов до пары дней. Если важная страница не попадает в индекс дольше 1–2 недель, стоит проверить её в Search Console и посмотреть причины.
Нужно ли, чтобы в индексе были вообще все страницы сайта?
Нет. Более того, технический мусор (фильтры, пагинация, корзина, дубли) в индексе только мешает. Важно, чтобы индексировались коммерчески важные разделы, информативные статьи и страницы, которые действительно могут приводить трафик и конверсии. Остальное можно смело закрывать или не бороться за индексирование.
Чем «Обнаружена, не проиндексирована» отличается от «Просканировано — не проиндексировано»?
В первом случае Google даже не заходил на страницу — просто поставил её в очередь и пока до неё не добрался. Во втором случае робот уже был на странице, но решил не добавлять её в индекс из-за низкого качества или дублирования. Для «обнаруженных» чаще всего помогает улучшение структуры и внутренних ссылок, для «просканированных» — серьёзная переработка контента.
Достаточно ли просто жать «Запросить индексирование» в Search Console?
Эта кнопка помогает только тогда, когда страница технически в порядке и имеет ценность, а робот просто не дошёл до неё. Если статус «Просканировано — не проиндексировано», без изменения самой страницы (контент, структура, ссылки) повторный запрос обычно ничего не меняет: робот приходит, видит то же самое и снова отказывает в индексации.
Можно ли обойтись без Google Search Console и смотреть только оператор site:?
Оператор site: хорош для быстрых ручных проверок и прикидок, но он неточный и не показывает реальные причины проблем. Без Search Console вы не увидите статусы, технические ошибки, причины неиндексации и предупреждения. Для любого проекта, который вы развиваете всерьёз, GSC — обязательный инструмент.