Screaming Frog SEO Spider — один из самых популярных инструментов среди SEO-специалистов для технического аудита сайта. Программа-краулер обходит ваш сайт, как поисковый робот, и собирает данные обо всех страницах: метатеги, заголовки, статусы HTTP, изображения, ссылки и многое другое.
В этом руководстве разберём всё: от установки и настройки до работы с ключевыми отчётами. После прочтения вы сможете самостоятельно проводить полный технический аудит любого сайта.
Что такое Screaming Frog и зачем он нужен
Screaming Frog SEO Spider — это десктопное приложение (Windows, Mac, Linux), которое сканирует сайт и создаёт подробные отчёты по SEO-параметрам. Бесплатная версия позволяет сканировать до 500 URL, платная (около £259/год в 2026) — без ограничений.
Что можно найти с помощью Screaming Frog:
- Страницы с ошибками 4xx и 5xx
- Пустые или дублированные Title и Description
- Страницы без H1 или с несколькими H1
- Редиректы и цепочки редиректов
- Дубли контента
- Битые ссылки (внутренние и внешние)
- Изображения без alt-тегов
- Страницы с тегом noindex
- Структуру canonical-тегов
- И десятки других параметров
Установка и первый запуск
- Скачайте программу с официального сайта screamingfrog.co.uk
- Установите как обычное приложение
- При первом запуске программа предложит ввести лицензию — если используете бесплатную версию, пропустите этот шаг
- В главном поле введите URL сайта (например,
https://ваш-сайт.ru) и нажмите Start
Программа начнёт сканирование. Для небольшого сайта (100–500 страниц) это займёт 1–5 минут, для крупного — от 30 минут до нескольких часов.
Настройка перед сканированием
Перед запуском аудита настройте ключевые параметры в меню Configuration.
Configuration → Spider
- Crawl within Subdomain — если сайт использует поддомены, включите эту опцию
- Follow Internal Nofollow Links — отключите, чтобы не следовать ссылкам с rel="nofollow"
- Crawl Linked XML Sitemap — включите, чтобы программа также обходила страницы из карты сайта
- Check External Links — включите для проверки исходящих ссылок (замедляет краулинг)
Configuration → Speed
Для небольших сайтов оставьте 5 потоков. Для крупных — можно увеличить до 10–15, но учтите нагрузку на сервер. Для проверки живого сайта с реальными пользователями лучше ставить 2–3 потока и небольшую задержку.
Configuration → User Agent
По умолчанию Screaming Frog представляется как Screaming Frog Bot. Вы можете переключить User Agent на:
- Googlebot — для проверки того, что видит Google
- YandexBot — для проверки того, что видит Яндекс (особенно важно для российских сайтов)
Переключитесь на YandexBot, если продвигаетесь в Яндексе — иногда сайты по-разному отвечают разным ботам.
Configuration → Exclusions
Укажите разделы, которые не нужно краулить:
/admin/,/cart/,/checkout/- URL с параметрами сортировки:
?sort=,?filter=,?page= - Страницы входа и личного кабинета
Ключевые вкладки и отчёты
Вкладка Internal
Здесь список всех внутренних страниц сайта. Основные колонки:
- Status Code — HTTP-статус ответа. Ищите: 200 (ок), 301 (редирект), 404 (не найдено), 500 (ошибка сервера)
- Title и Title 1 Length — длина и содержание тегов Title
- H1 и H1-1 Length — первый заголовок H1 и его длина
- Meta Description и Meta Description 1 Length
- Indexability — индексируема ли страница (YES/NO)
- Canonical Link Element 1 — canonical-тег
Как фильтровать: Нажмите на заголовок колонки для сортировки. Используйте фильтр в выпадающем меню вверху вкладки для быстрого поиска проблем.
Вкладка Response Codes
Здесь все страницы, отсортированные по HTTP-статусу.
Что проверять:
- 4xx — клиентские ошибки. 404 — страница не найдена. Это либо удалённые страницы без редиректа, либо неправильные внутренние ссылки. Каждую 404 нужно либо восстановить, либо перенаправить через 301
- 3xx — редиректы. 301 — постоянный (хорошо). 302 — временный (обычно нужно менять на 301). Цепочки редиректов (301 → 301 → ...) нужно сокращать до одного звена
- 5xx — ошибки сервера. Требуют немедленного устранения
Вкладка Page Titles
Отчёт по тегам Title.
Фильтры для анализа:
- Missing — страницы без Title (критическая ошибка)
- Duplicate — одинаковые Title на разных страницах
- Over 60 Characters — Title слишком длинный, обрежется в выдаче
- Below 30 Characters — Title слишком короткий, не использует потенциал
- Multiple — несколько тегов Title на одной странице
Вкладка Meta Description
Аналогично Title, но для Description:
- Missing — нет мета-описания
- Duplicate — дублированные описания
- Over 160 Characters — обрежется в выдаче
- Below 70 Characters — слишком короткое
Вкладка H1
- Missing — нет H1 (критическая ошибка)
- Duplicate — одинаковые H1 на разных страницах
- Multiple — более одного H1 на странице
Вкладка Images
- Missing Alt Text — изображения без атрибута alt
- Alt Text Over 100 Characters — слишком длинный alt
Вкладка Directives
Показывает страницы с директивами: noindex, nofollow, canonical. Здесь ищите страницы, которые неожиданно закрыты от индексации.
Вкладка Links
Все ссылки на сайте: внутренние и внешние.
Ключевые отчёты:
- All Inlinks — все входящие ссылки на каждую страницу (важно для анализа внутреннего PageRank)
- All Outlinks — все исходящие ссылки
- Через меню Reports → Bulk Export → All Inlinks можно выгрузить полную карту ссылок
Работа с отчётами (Reports)
Меню Reports содержит готовые отчёты в формате CSV.
Самые полезные:
- Crawl Overview — сводный отчёт по аудиту: количество страниц, ошибок, предупреждений
- Response Codes — все коды ответа
- Redirect Chains — цепочки редиректов
- Canonical Errors — ошибки в canonical-тегах
- Hreflang — если сайт многоязычный, проверяет корректность атрибутов языков
- Structured Data — проверяет разметку Schema.org
Интеграция с Google Analytics и Search Console
Если вы используете платную версию, Screaming Frog позволяет подключить данные Google Analytics и Google Search Console прямо в интерфейс. Это значит, что рядом с техническими данными краулера вы увидите трафик, показы и CTR каждой страницы — очень удобно для приоритизации проблем.
Для Яндекса аналогичной интеграции нет, но вы можете выгрузить данные из Яндекс Метрики и вручную совместить их с экспортом Screaming Frog в Google Sheets через функцию VLOOKUP.
Типичные находки и что с ними делать
Ситуация 1: Найдено 150 страниц с кодом 404
Значит, на сайте много битых ссылок или удалённых страниц без редиректов. Экспортируйте список через Reports → Response Codes. Для каждой 404 проверьте: есть ли аналогичная страница на сайте? Если да — настройте 301 редирект. Если нет — исправьте или удалите ссылки, ведущие на эту страницу.
Ситуация 2: 30% страниц с дублированными Title
Типично для интернет-магазинов. Решение: шаблон генерации Title должен использовать уникальные данные каждой страницы (бренд, модель, характеристики), а не одну и ту же формулу для всего каталога.
Ситуация 3: Страниц в краулере в 5 раз больше, чем в Яндекс Вебмастере
Значит, большая часть страниц не индексируется. Проверьте вкладку Directives: многие страницы могут иметь noindex или некорректный canonical.
Ситуация 4: Много изображений без alt
Для контентного сайта или интернет-магазина это критично: alt-теги помогают ранжироваться в Яндекс.Картинки и улучшают общую on-page оптимизацию. Экспортируйте список через Reports → Images → Missing Alt Text.
Screaming Frog + ClickFlow: полный стек для аудита
Screaming Frog отлично находит технические проблемы, но не показывает, как они влияют на поведение пользователей и CTR. Для этого используйте ClickFlow: инструмент анализирует кликабельность сниппетов, помогает улучшить Title и Description для страниц с низким CTR — и вы видите реальный эффект от технических исправлений в виде роста трафика.
Связка «Screaming Frog для технического аудита + ClickFlow для работы с кликабельностью» даёт полную картину состояния сайта и конкретные точки роста.
Быстрый старт: что проверить в первую очередь
Если вы только начали работу с Screaming Frog, вот порядок проверки:
- Response Codes → 4xx и 5xx — критические ошибки, исправить немедленно
- Page Titles → Missing и Duplicate — базовая on-page оптимизация
- H1 → Missing и Multiple — структура заголовков
- Directives → Noindex — убедитесь, что важные страницы открыты для индексации
- Redirect Chains — упростите цепочки редиректов
- Images → Missing Alt Text — оптимизация изображений
Screaming Frog — мощный, но поначалу непростой инструмент. Начните с этих шести пунктов, разберитесь с базой, и постепенно осваивайте продвинутые функции: интеграции, кастомные отчёты, JavaScript-рендеринг. Инвестиция времени в этот инструмент многократно окупается на каждом SEO-проекте.