Вы опубликовали новые страницы на сайте — статьи, карточки товаров, разделы каталога. Прошла неделя, две, месяц — а в индексе Яндекса их нет. Проверяете через site: — страницы не находятся. В Вебмастере они числятся как «обнаруженные, но не проиндексированные». Знакомо? Давайте разберём 8 главных причин этой проблемы.
Причина 1: Блокировка в robots.txt
Начнём с самого очевидного. Если robots.txt запрещает роботу Яндекса доступ к новым страницам — они не будут проиндексированы.
Типичные ошибки:
- Блокировка целого раздела:
Disallow: /blog/— а новые статьи в /blog/ - Блокировка по паттерну:
Disallow: /*?— блокирует все URL с параметрами - Забытые правила от тестирования:
Disallow: /new/— если новые страницы были в /new/
Как проверить:
- Откройте вашсайт.ru/robots.txt
- В Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt» — введите URL новой страницы и проверьте, разрешён ли обход
Решение: исправьте robots.txt, убедившись, что новые страницы не попадают под Disallow.
Причина 2: Мета-тег noindex или X-Robots-Tag
Даже если robots.txt не блокирует страницу, мета-тег noindex или HTTP-заголовок X-Robots-Tag: noindex запрещает индексацию.
Где может прятаться noindex:
- В настройках CMS — часто включается при разработке и забывается после запуска
- В SEO-плагине — Yoast, Rank Math или All in One SEO могут иметь настройку noindex для определённых типов контента
- В шаблоне страницы — разработчик мог добавить noindex для определённого типа страниц
- В конфигурации сервера — X-Robots-Tag в заголовках Nginx или Apache
Как проверить:
- Откройте исходный код страницы (Ctrl+U) и найдите
noindex - Проверьте HTTP-заголовки через инструменты разработчика (вкладка Network)
- В Вебмастере: «Индексирование» → «Проверить URL» — Яндекс покажет, видит ли он noindex
Решение: удалите noindex с нужных страниц. Проверьте настройки CMS и плагинов.
Причина 3: Низкое качество контента
Яндекс может обнаружить страницу, но не включить в индекс, если считает контент недостаточно качественным.
Что Яндекс считает некачественным:
- Очень короткий контент (менее 300 слов для статей)
- Дублированный контент — скопированный с других сайтов или с других ваших страниц
- Автоматически сгенерированный текст без ценности
- Страницы-заглушки с текстом «скоро здесь будет контент»
- Страницы с одними только техническими данными (ID, артикулы) без описания
Как проверить:
- Оцените контент объективно — есть ли на странице уникальная, полезная информация?
- Проверьте уникальность через text.ru или аналогичные сервисы
- Сравните объём контента с конкурентами, которые уже в индексе
Решение: создавайте качественный, уникальный, полезный контент. Для карточек товаров — добавьте подробное описание, характеристики, отзывы. Для статей — обеспечьте экспертность и глубину.
Причина 4: Страницы не обнаружены роботом
Яндекс не может проиндексировать страницу, если не знает о её существовании. Робот находит новые страницы тремя способами:
- Через внутренние ссылки — переходя со страницы на страницу
- Через sitemap.xml — читая карту сайта
- Через внешние ссылки — переходя с других сайтов
Если новая страница не имеет ни внутренних ссылок, ни записи в sitemap — робот может о ней не узнать.
Как проверить:
- Есть ли ссылки на новую страницу с других страниц сайта?
- Включена ли страница в sitemap.xml?
- Можно ли дойти до страницы за 3-4 клика с главной?
Решение:
- Добавьте новые страницы в sitemap.xml
- Добавьте внутренние ссылки с релевантных страниц
- Убедитесь, что страница доступна в навигации сайта
- Отправьте sitemap в Яндекс Вебмастер
Причина 5: Исчерпан краулинговый бюджет
У каждого сайта есть краулинговый бюджет — количество страниц, которое Яндекс готов обойти за определённый период. Если на сайте много технического мусора (дубли, параметрические URL, страницы фильтров), робот тратит бюджет на них и не доходит до новых важных страниц.
Признаки исчерпания бюджета:
- Новые страницы индексируются очень медленно (месяцами)
- В Вебмастере видно, что робот обходит много мусорных URL
- Количество страниц в индексе значительно больше полезных страниц
Как проверить:
- В Яндекс Вебмастере: «Индексирование» → «Статистика обхода» — сколько страниц робот обходит в день
- Сравните количество URL в индексе с реальным числом полезных страниц
Решение:
- Закройте мусорные URL от индексации (параметрические, фильтры, дубли)
- Используйте canonical для дублирующих страниц
- Настройте robots.txt для блокировки технических URL
- Оптимизируйте структуру сайта — уменьшите глубину вложенности
Причина 6: Технические ошибки на странице
Если новая страница содержит технические ошибки, Яндекс может отказаться её индексировать.
Частые проблемы:
- Страница возвращает статус 404 или 5xx вместо 200
- Слишком долгая загрузка (более 10 секунд)
- Циклические редиректы (страница перенаправляет сама на себя)
- Некорректный HTML, который робот не может разобрать
- Страница требует авторизации (за формой входа)
Как проверить:
- Откройте страницу в браузере — работает ли она корректно?
- Проверьте HTTP-статус (инструменты разработчика → Network)
- В Вебмастере проверьте ошибки обхода
Решение: исправьте технические ошибки. Страница должна стабильно возвращать HTTP 200, загружаться быстро и содержать валидный HTML.
Причина 7: Каноникализация на другую страницу
Если на новой странице установлен canonical, указывающий на другую страницу — Яндекс не будет индексировать эту страницу отдельно.
Как это может произойти:
- CMS автоматически ставит canonical (неправильный)
- Плагин SEO устанавливает canonical на шаблон по умолчанию
- Разработчик скопировал шаблон с другой страницы и забыл изменить canonical
Как проверить:
- Откройте исходный код страницы
- Найдите
<link rel="canonical"> - Убедитесь, что canonical указывает на саму эту страницу (или отсутствует)
Решение: исправьте canonical, чтобы он указывал на правильный URL.
Причина 8: Сайт под фильтром или с низким трастом
Если сайт молодой или имеет низкий траст — Яндекс индексирует новые страницы медленно и выборочно. Сайт под фильтром может столкнуться с практически полной остановкой индексации новых страниц.
Признаки:
- Новые страницы индексируются крайне медленно (1-3 месяца)
- Часть новых страниц не индексируется вообще
- Старые страницы тоже выпадают из индекса
Решение:
- Для молодого сайта: наберитесь терпения, наращивайте авторитет
- Для сайта под фильтром: устраните причину фильтра
- В обоих случаях: работайте над качеством контента и получайте качественные внешние ссылки
Как ускорить индексацию новых страниц
Чек-лист перед публикацией
- [ ] Страница не блокируется в robots.txt
- [ ] Нет мета-тега noindex
- [ ] Canonical указывает на саму страницу
- [ ] Контент уникальный и качественный
- [ ] Есть внутренние ссылки на страницу
- [ ] Страница в sitemap.xml
- [ ] Страница загружается быстро
- [ ] HTTP-статус 200
Действия после публикации
- Обновите sitemap.xml с новым URL и актуальной датой
- Перезагрузите sitemap в Яндекс Вебмастере
- Отправьте URL на переобход через Вебмастер
- Добавьте внутренние ссылки с авторитетных страниц сайта
- Поделитесь ссылкой в социальных сетях
- При необходимости — получите внешнюю ссылку на страницу
Системный подход к индексации
Для сайтов с регулярной публикацией нового контента настройте процесс:
- Автоматическое обновление sitemap.xml при публикации
- Отправка URL через API Вебмастера
- Уведомление через RSS-фид
- Регулярный мониторинг индексации новых страниц
Поведенческие факторы также влияют на скорость индексации. Сайты с хорошими ПФ индексируются быстрее — Яндекс доверяет им больше. ClickFlow помогает улучшить поведенческие метрики, что косвенно ускоряет индексацию новых страниц.
Заключение
Проблемы с индексацией новых страниц — одна из самых частых жалоб вебмастеров. В большинстве случаев причина кроется в технических настройках: robots.txt, noindex, canonical или sitemap. Пройдите по чек-листу из этой статьи, устраните блокирующие факторы, обеспечьте качественный контент — и новые страницы будут попадать в индекс значительно быстрее.