Как ускорить индексацию сайта в Яндексе: переобход, Sitemap, IndexNow

Как работает индексация сайта в Яндексе

Индексация — это три шага. Робот узнаёт об адресе: по ссылке с другой страницы, из Sitemap, из переобхода, по IndexNow или по счётчику Метрики. Робот обходит страницу: запрашивает её, как браузер, и читает содержимое. Яндекс решает, добавлять ли страницу в поиск: дубли, служебные и малополезные страницы в поиск не попадают. Ускорить можно первые два шага; на третьем помогает только качество страницы.

Сроки в справке Яндекса даны с запасом: после переобхода индексирование занимает от 3 до 7 дней, после загрузки Sitemap — до двух недель, данные в разделе «Страницы в поиске» обновляются в течение нескольких дней. Если прошло больше — ищите причину, а не ждите.

Переобход страниц в Вебмастере: как отправить и какой лимит

1. 1

   Откройте «Индексирование» → «Переобход страниц»

   Выберите сайт, если их несколько: инструмент работает для сайтов, которые добавлены в ваш Вебмастер.

2. 2

   Вставьте адреса страниц

   По одному адресу в строке. Отправляйте HTML-страницы и документы (PDF, Microsoft Office, OpenOffice, RTF, TXT). Не отправляйте robots.txt, favicon.ico, файлы Sitemap и XML-фиды — по справке инструмент не для них.

   Перед отправкой убедитесь, что страница открывается у робота и сервер отвечает быстро: иначе заявка завершится ошибкой и лимит сгорит.

3. 3

   Отправьте заявку и следите за статусом

   Статусы по справке: «В очереди» — робот посетит страницу не позднее трёх дней; «Заявка обработана» — робот был на странице, данные в поиске обновятся в течение двух недель; «Ошибка» — страница недоступна или ответила неверно.

Лимит адресов в сутки у инструмента общий для основного домена и всех поддоменов и обновляется ежедневно; конкретное число Вебмастер показывает в интерфейсе. Поэтому переобход — для важных страниц: новой услуги, исправленной карточки, обновлённой статьи. Загнать в него весь каталог не получится.

Файл Sitemap: когда страниц много

Sitemap — список адресов сайта в формате XML. Робот читает его и узнаёт о страницах, на которые нет ссылок, и о датах изменений. По справке этот способ особенно подходит, когда на сайте появилось много новых страниц и карта сильно изменилась. Добавить файл можно двумя путями: на странице «Файлы Sitemap» в Вебмастере (ввести адрес и нажать «Добавить») или директивой Sitemap: в robots.txt. Робот загрузит файл в течение двух недель, а обновления подхватит за три дня.

Sitemap — не гарантия индексации, а подсказка роботу. Если страница закрыта в robots.txt, помечена noindex или дублирует другую, её присутствие в Sitemap ничего не изменит.

IndexNow: что это и как подключить

IndexNow — открытый протокол, который Яндекс поддерживает: сайт сам отправляет поисковику адреса новых, изменённых и удалённых страниц, не дожидаясь обхода. Это не замена переобходу, а автоматизация: опубликовали статью — адрес ушёл в Яндекс в ту же секунду, без захода в Вебмастер. Для подключения нужен ключ и один HTTP-запрос.

1. 1

   Сформируйте ключ

   По справке ключ содержит от 8 до 128 символов из набора a-z, A-Z, 0-9 и -. Подойдёт любая случайная строка.

2. 2

   Разместите файл ключа на сайте

   Создайте текстовый файл в кодировке UTF-8, имя которого равно ключу, с самим ключом внутри, и положите его в корень сайта: https://site.ru/<ключ>.txt. Файл не должен содержать HTML-разметку. Если положить его в другой каталог, в каждом запросе нужно передавать параметр keyLocation.

3. 3

   Отправляйте адреса

   Один адрес — GET-запросом https://yandex.com/indexnow?url=<адрес>&key=<ключ>. Несколько адресов — POST-запросом на тот же https://yandex.com/indexnow с JSON-телом: host, key, urlList. В одном запросе можно передать до 10 000 адресов.

{
  "host": "site.ru",
  "key": "EdD8dkmdNLlxREi2LkhJjYOH2kyQbJqM3cBKT5fX",
  "urlList": [
    "https://site.ru/uslugi/novaya-usluga",
    "https://site.ru/blog/statya"
  ]
}

Для популярных CMS есть плагины IndexNow — список в справке Яндекса. Если сайт самописный, запрос отправляет скрипт при публикации. В BotB2B отправка в IndexNow встроена в MCP-сервер «seo»: ИИ публикует статью и сразу передаёт адрес Яндексу.

Страница не индексируется: пять причин

Если переобход отработал, а страницы в поиске нет, посмотрите её статус в «Индексирование» → «Страницы в поиске», вкладка «Исключённые страницы». Яндекс пишет причину прямо в таблице.

Медленный ответ сервера не виден как отдельный статус, но срывает переобход: заявка завершается ошибкой, а лимит списывается. Если страницы массово получают «Ошибку», сначала проверьте скорость ответа сервера и только потом отправляйте заново.

Как проверить, в индексе ли страница

• «Индексирование» → «Проверка страницы» — введите адрес: Вебмастер покажет, какой код ответа получил робот, как выглядит содержимое для робота и статус страницы — участвует в поиске или исключена
• «Индексирование» → «Страницы в поиске» — вкладки «Все страницы» и «Исключённые страницы» (до 50 000 адресов), «Последние изменения» — что добавилось и выпало за три месяца

Если страница есть в поиске, но по нужному запросу её не видно, это уже не индексация, а позиции — смотрите поисковые запросы в Вебмастере и проверку позиций сайта.

Когда руками уже дорого: как это делает ИИ

На сайте в десять страниц индексацию можно проверять глазами. На сайте в пятьсот — нет: страницы выпадают по одной, причины разные, а лимит переобхода надо тратить с умом. Обычно это замечают, когда трафик уже просел.

ИИ, подключённый к Вебмастеру через MCP-сервер Яндекс Вебмастера, делает это по расписанию: сверяет Sitemap со списком «Страницы в поиске», группирует исключённые по причинам, отправляет на переобход те, что уже исправлены, а новые публикации шлёт в IndexNow сам. Отчёт приходит в чат: «12 страниц каталога выпали как дубли из-за параметра sort, предлагаю Clean-param: sort». Это работает и в Claude, и в ChatGPT, и у ИИ SEO-специалиста в BotB2B, который следит за сайтом без ваших напоминаний.

Частые вопросы