Каждая страница вашего сайта — это ресурс: серверный, краулинговый, ссылочный. Не все страницы одинаково ценны для поиска, и некоторые из них лучше скрыть от индексации или ограничить передачу ссылочного веса. Именно для этого существуют директивы noindex и nofollow.
В этой статье разберём, что они означают, как правильно их применять в Яндексе и каких ошибок нужно избегать.
Что такое noindex
Noindex — директива, которая сообщает поисковому роботу: «Не включай эту страницу в поисковый индекс». Страница по-прежнему будет обходиться краулером, но не появится в результатах поиска.
Существует несколько способов задать noindex:
1. Мета-тег в <head> страницы:
<meta name="robots" content="noindex">Для Яндекса можно задать отдельно:
<meta name="yandex" content="noindex">2. HTTP-заголовок X-Robots-Tag:
X-Robots-Tag: noindexУдобно для PDF-файлов, изображений и других не-HTML ресурсов.
3. Директива в robots.txt — внимание, это не noindex! Запись Disallow в robots.txt не добавляет noindex — она только запрещает роботу заходить на страницу. Если на заблокированную страницу ведут внешние ссылки, Яндекс всё равно может включить её URL в индекс (без контента).
Что такое nofollow
Nofollow — директива, которая сообщает роботу: «Не переходи по ссылкам на этой странице и не учитывай их при ранжировании».
На уровне всей страницы:
<meta name="robots" content="nofollow">На уровне конкретной ссылки:
<a href="https://example.com" rel="nofollow">Ссылка</a>В 2019 году Google ввёл дополнительные атрибуты:
rel="sponsored"— платные/рекламные ссылки.rel="ugc"— ссылки из пользовательского контента (комментарии, форумы).
Яндекс также понимает эти атрибуты, хотя основным остаётся nofollow.
Комбинации директив
Директивы можно комбинировать:
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">noindex, follow— не индексировать страницу, но переходить по ссылкам. Полезно для технических страниц с ценными исходящими ссылками.noindex, nofollow— полная изоляция страницы.index, nofollow— индексировать, но не передавать вес по ссылкам (редко нужно на практике).
Когда ставить noindex: список страниц
Страницы, которые нужно закрывать от индексации
Дубли контента:
- Версии с UTM-метками (
?utm_source=...). - Страницы с сортировкой (
?sort=price&order=asc). - Страницы с пагинацией глубже определённого уровня.
- Версии страниц для печати.
- AMP-версии (если используется canonical на основную версию).
Технические страницы:
- Страницы входа и регистрации.
- Личный кабинет, корзина, оформление заказа.
- Страница поиска по сайту (особенно с GET-параметрами).
- Страницы администрирования.
- Thank you pages (страницы после оплаты/заявки).
Страницы с тонким контентом:
- Страницы тегов с 1–2 статьями.
- Страницы авторов без уникального контента.
- Пустые категории (новые разделы, в которых ещё нет товаров/статей).
Страницы, которые проигрывают в конкуренции с собой:
- Если несколько страниц продвигают одинаковые запросы (каннибализация), закройте более слабые через noindex и сосредоточьте усь на одной сильной странице.
Страницы, которые НЕ нужно закрывать
Распространённая ошибка — закрывать слишком много. Не трогайте:
- Страницы категорий и фильтров с хорошим трафиком.
- Страницы фасетной навигации, если они реально продвигаются по конкретным запросам.
- Статьи блога с уникальным контентом.
- Карточки товаров, даже если схожи — каждая индексируется отдельно.
Как правильно использовать nofollow на ссылках
Ссылки, которые стоит закрывать через nofollow
Внешние ссылки на рекламодателей и партнёров:
Если вы размещаете платные ссылки или баннеры без пометки nofollow — это нарушение рекомендаций Яндекса. Все коммерческие ссылки должны иметь rel="nofollow" или rel="sponsored".
Ссылки в комментариях и UGC: Ссылки, которые оставляют пользователи в комментариях, могут вести на спамные ресурсы. Атрибут nofollow на уровне системы комментирования защищает сайт от случайной передачи веса на плохие сайты. Большинство CMS (WordPress, Bitrix) ставят nofollow на UGC-ссылки автоматически.
Ссылки на заведомо ненадёжные ресурсы: Если вы по каким-то причинам должны сослаться на сомнительный ресурс (например, для опровержения или критики), используйте nofollow.
Ссылки, которые НЕ нужно закрывать
Внутренние ссылки — никогда не ставьте nofollow на внутренние ссылки. Это распространённая ошибка, которая нарушает передачу PageRank внутри сайта.
Ссылки на авторитетные ресурсы — ссылка на Яндекс, Википедию, официальные ведомства не требует nofollow. Это показывает Яндексу, что ваш контент вписан в тематический граф авторитетных ресурсов.
Важные нюансы для Яндекса
Яндекс и noindex в robots.txt
Яндекс поддерживает специальную директиву Noindex прямо в robots.txt (в отличие от Google, который её не понимает):
User-agent: Yandex
Noindex: /search?
Noindex: /tag/Это позволяет закрыть страницы от индексации, не добавляя мета-тег на каждую страницу. Особенно удобно для закрытия целых разделов.
Скорость реакции Яндекса
После добавления noindex Яндекс удаляет страницу из индекса не мгновенно — обычно в течение нескольких недель. Если нужно ускорить процесс, воспользуйтесь инструментом «Удаление страниц» в Яндекс.Вебмастере.
Canonical vs noindex
Canonical и noindex — разные инструменты с разными задачами:
- Canonical говорит: «Индексируй, но считай каноническим вот этот URL».
- Noindex говорит: «Не индексируй вообще».
Ставить одновременно canonical и noindex — противоречие. Яндекс будет следовать noindex, но такая комбинация сигнализирует о проблемах в настройке сайта.
Robots.txt vs noindex: что выбрать
| Ситуация | Robots.txt Disallow | Meta Noindex |
|---|---|---|
| Страница не должна появляться в поиске | Нет | Да |
| Нужно скрыть чувствительный контент от краулера | Да | Нет (краулер всё равно может зайти) |
| Хотим сэкономить краулинговый бюджет | Да | Нет |
| Страница уже проиндексирована, нужно удалить | Нет | Да |
Идеальная стратегия для страниц, которые не нужно индексировать и не нужно обходить: Disallow в robots.txt + canonical на основную страницу.
Аудит noindex и nofollow
Регулярно проверяйте, что закрыто правильно:
- Сканирование сайта через Screaming Frog или аналогичный инструмент — выгрузите все страницы с noindex и убедитесь, что там нет ничего лишнего.
- Вебмастер → «Индексирование» → «Исключённые страницы» — посмотрите, почему страницы исключены.
- ClickFlow позволяет автоматически мониторить изменения в директивах индексации: если новый deploy случайно добавил noindex на важные страницы — система пришлёт алерт раньше, чем вы это заметите в Вебмастере.
Типичные ошибки с noindex и nofollow
Ошибка 1: noindex на страницах в robots.txt Disallow Если робот не заходит на страницу (Disallow), он не читает мета-тег. noindex внутри заблокированной страницы бессмысленен.
Ошибка 2: noindex на весь сайт при разработке
На staging-среде часто ставят noindex, nofollow через robots.txt или мета-тег. Иногда это случайно попадает на продакшн. Убедитесь, что у вас есть проверка перед каждым деплоем.
Ошибка 3: nofollow на внутренние ссылки Некоторые разработчики ставят nofollow на ссылки навигации «чтобы сконцентрировать вес на важных страницах». На самом деле это просто теряет ссылочный вес — он не перераспределяется, а исчезает.
Ошибка 4: Закрыть страницы, которые реально имеют трафик Перед добавлением noindex всегда проверяйте в Яндекс.Метрике, есть ли у страницы органический трафик. Если есть — разберитесь, почему, прежде чем закрывать.
Ошибка 5: Не проверять после изменений После обновлений CMS или деплоя новой версии сайта robots.txt или мета-теги могут сброситься. Автоматический мониторинг через ClickFlow или ручная проверка Вебмастера — обязательная практика.
Noindex и nofollow — это скальпель, а не топор. Правильное применение этих директив улучшает индексацию важного контента, экономит краулинговый бюджет и защищает ссылочный профиль. Неправильное — может уничтожить органический трафик за несколько недель.