Фильтры и сортировка — необходимые функции любого интернет-магазина. Без них пользователь не сможет быстро найти нужный товар среди тысяч позиций. Но каждое нажатие на фильтр или смену порядка сортировки создаёт новый URL. В итоге Яндекс сталкивается с тысячами страниц с почти одинаковым контентом — и это прямой удар по SEO.
Масштаб проблемы
Возьмём реальный пример: категория «Ноутбуки» с 500 товарами и следующими фильтрами:
- Производитель: 15 вариантов
- Объём RAM: 6 вариантов
- Диагональ экрана: 5 вариантов
- Тип накопителя: 3 варианта
- Сортировка: 4 варианта (по цене вверх, по цене вниз, по рейтингу, по новизне)
Только одинарные комбинации: 15 + 6 + 5 + 3 + 4 = 33 URL. С двойными комбинациями: сотни. С тройными: тысячи. Плюс пагинация для каждой комбинации. Итого: десятки тысяч URL в одной категории.
Большинство этих страниц никто не ищет в Яндексе. Зато краулер тратит на их обход значительную часть краулинг-бюджета сайта.
Краулинг-бюджет: что это и почему важно
Краулинг-бюджет (crawl budget) — это количество страниц, которые поисковый бот Яндекса готов обойти на вашем сайте за определённый период. Он зависит от авторитетности сайта, скорости ответа сервера и общего числа страниц.
Если сайт генерирует миллион URL из-за фильтров, а краулинг-бюджет составляет 50 000 страниц в месяц — важные страницы (новые товары, новые категории) будут индексироваться неделями. Конкуренты, у которых нет этой проблемы, будут опережать вас в индексации и, следовательно, в позициях.
Симптомы проблем с краулинг-бюджетом:
- Новые страницы появляются в индексе через 2–4 недели после публикации
- В Яндекс Вебмастере большой разрыв между количеством страниц на сайте и страницами в индексе
- Логи сервера показывают, что большинство визитов бота — на страницы с параметрами
Решение 1: Canonical для параметрических страниц
Самый мягкий подход — добавить canonical на страницы с параметрами фильтров, указывающий на чистый URL категории.
<!-- На странице /catalog/noutbuki/?brand=lenovo&ram=16 -->
<link rel="canonical" href="https://example.com/catalog/noutbuki/" />Когда использовать: для страниц с одним-двумя фильтрами, которые теоретически могут иметь поисковый спрос, но пока его нет.
Ограничение: canonical — это подсказка для поисковика, а не команда. Яндекс может проигнорировать его, если страница имеет внешние ссылки или накопила историю поведенческих данных.
Решение 2: Meta robots noindex, follow
Для страниц, которые никогда не должны попасть в индекс, но должны передавать ссылочный вес:
<meta name="robots" content="noindex, follow" />Когда использовать: для страниц сортировки (по цене, по рейтингу) и комбинаций фильтров без поискового спроса.
Важно: директива follow означает, что бот будет переходить по ссылкам с этой страницы. Не используйте nofollow, если на странице есть внутренние ссылки на важные разделы.
Решение 3: Закрытие в robots.txt
Для паттернов URL, которые никогда не нужны в индексе, — прямой запрет:
User-agent: Yandex
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?page=
Disallow: /*?currency=Когда использовать: для системных параметров — сортировка, пагинация, параметры отображения (плитка/список), параметры валюты.
Преимущество: максимальная экономия краулинг-бюджета. Бот не заходит на запрещённые URL вообще.
Ограничение: страницы, закрытые в robots.txt, не передают ссылочный вес. Если пользователь поделился ссылкой на страницу /catalog/noutbuki/?sort=price_asc, этот ссылочный сигнал будет потерян.
Решение 4: JavaScript-фильтры без изменения URL
Радикальное решение: реализовать фильтрацию через JavaScript без изменения URL страницы (или с использованием hash-фрагментов типа #color=white, которые Яндекс не индексирует).
Плюсы:
- Абсолютная защита от дублей
- Краулинг-бюджет расходуется только на реальные страницы
Минусы:
- Нельзя создать посадочные страницы для популярных фасетов (например, «белые кроссовки»)
- Пользователь не может поделиться ссылкой на конкретный набор фильтров
Этот подход подходит для магазинов, у которых нет задачи создавать SEO-посадочные страницы через фасеты.
Решение 5: Управление параметрами в Яндекс Вебмастере
В разделе «Индексирование → Параметры URL» Яндекс Вебмастера можно указать, как поисковик должен интерпретировать GET-параметры:
- Не влияет на содержимое — параметр игнорируется (например,
utm_source,ref) - Дублирует страницу — Яндекс склеивает страницы с этим параметром
- Меняет содержимое — страница индексируется отдельно
Это дополнительный инструмент, который работает в связке с canonical и robots.txt.
Какую сортировку можно индексировать
Никогда не индексируйте:
- Сортировку по цене (по возрастанию, по убыванию) — нет устойчивого поискового спроса
- Сортировку по рейтингу — аналогично
- Сортировку по новизне — аналогично
Можно рассмотреть индексацию:
- Страницы «Хиты продаж» — если формируется как отдельная страница, а не параметр
- «Акции и распродажа» — высокий коммерческий спрос
Золотое правило: если страница создана параметром URL, а не отдельным маршрутом — скорее всего, её не стоит индексировать.
Аудит параметрических URL с помощью ClickFlow
ClickFlow позволяет быстро проанализировать структуру URL всего сайта и выявить проблемные паттерны. Инструмент строит карту параметров, показывает, сколько уникальных URL генерирует каждый параметр, и помогает приоритизировать работу — с чего начать закрытие. Особенно полезна функция анализа логов краулера, которая показывает, куда на самом деле ходит Яндексобот.
Практический чеклист
- [ ] Проанализированы все параметры URL сайта
- [ ] Параметры сортировки закрыты в robots.txt или через noindex
- [ ] Параметры пагинации обработаны (canonical или robots.txt)
- [ ] Системные параметры (utm, ref, session) указаны в Яндекс Вебмастере как «не влияющие на контент»
- [ ] Продуктивные фасеты открыты для индексации с ЧПУ-URL
- [ ] Непродуктивные фасеты закрыты через noindex
- [ ] Проведён анализ логов краулера за последние 30 дней
- [ ] Sitemap не содержит параметрических URL
Управление параметрами URL — не разовая задача, а постоянный процесс. С каждым обновлением каталога, добавлением новых фильтров или изменением логики сортировки возникают новые потенциальные проблемы. Регулярный аудит — обязательная часть технического SEO интернет-магазина.