Screaming Frog для SEO: 10 отчетов, которые стоит смотреть
Коротко
Пользоваться Screaming Frog удобно в два шага: сначала настроить обход (основная версия сайта, user agent, рендеринг скриптов, лимит адресов), затем пройти десять отчетов по порядку. Начните с Issues, потом коды ответа, редиректы, индексируемость и canonical, метаданные, почти дубли, глубина, страницы-сироты и картинки.
Этот разбор для SEO-специалиста или владельца сайта, который скачал краулер, запустил обход и утонул в десятках вкладок. Если вопрос звучит как «screaming frog как пользоваться, чтобы найти реальные ошибки», ответ короткий: смотреть не все подряд, а десять отчетов в определенном порядке, от индексации к оформлению.
Ниже разберем настройку первого обхода, затем каждый из десяти отчетов: где он лежит в меню, какие находки в нем важны, какие выглядят как ошибка, но ею не являются, и кому передавать исправление. В конце будет порядок повторной проверки после правок.
Как настроить обход, чтобы отчетам можно было верить
Перед первым запуском проверьте три настройки: границы обхода, учет robots.txt и лимит адресов, иначе отчеты покажут не тот сайт, который вы хотели проверить. По умолчанию программа обходит только тот поддомен, адрес которого вы ввели, а остальные поддомены считает внешними ссылками.
Бесплатная версия обходит до 500 адресов за один запуск, не сохраняет обходы и не дает менять большую часть конфигурации. Для сайта на 80 страниц этого хватит, а интернет-магазин с фильтрами упрется в лимит на первых разделах, и отчеты покажут только верхушку. Рендеринг JavaScript, подключение Search Console и Google Analytics, пользовательское извлечение данных и сравнение обходов по документации доступны только с лицензией.
Перед запуском пройдитесь по короткому списку:
- в поле адреса стоит та версия сайта, которая должна быть основной: с https и с www или без него;
- в Config выбран user agent, под которым вы хотите увидеть сайт, например робот гугла, если сервер отдает ботам другую версию;
- если сайт собирает меню и ссылки скриптами, включен рендеринг JavaScript, иначе часть страниц не найдется;
- для большого сайта выбран режим хранения в базе данных (File, Settings, Storage Mode), чтобы обход не упирался в оперативную память;
- если проверяете тестовую копию, заданы логин и пароль для закрытого доступа.
Отдельный режим List нужен, когда надо проверить готовый список адресов, а не весь сайт: например, страницы из выгрузки консоли или адреса после переезда. Он тоже ограничен 500 адресами без лицензии.
Вкладка Issues и карта десяти отчетов
Начинать разбор удобнее с правой вкладки Issues: она собирает найденные проблемы из всех остальных вкладок и сортирует их по типу и приоритету. Тип бывает Issue, Warning или Opportunity, приоритет High, Medium или Low, и оба параметра можно поменять под свой проект.

Сама программа в описании вкладок оговаривает, что приоритеты не жесткие правила, а оценка возможного влияния. Поэтому Issues хорош как оглавление, но решение, что чинить первым, лучше принимать по таблице ниже. В ней собраны все десять отчетов этого разбора, порядок их просмотра и исполнитель правки.
| № | Отчет | Где найти | Что ищем | Кто исправляет |
|---|---|---|---|---|
| 1 | Issues | Правая панель, вкладка Issues | Общий список проблем по приоритету | SEO-специалист решает очередность |
| 2 | Response Codes | Вкладка Response Codes, фильтры 4xx и 5xx | Битые внутренние ссылки и ошибки сервера | Контент-менеджер, разработчик |
| 3 | Redirect Chains | Reports, Redirects, Redirect Chains | Цепочки и петли переадресаций | Разработчик |
| 4 | Indexability и Directives | Вкладки Internal и Directives | Нужные страницы с noindex или закрытые в robots.txt | Разработчик, SEO-специалист |
| 5 | Canonicals | Вкладка Canonicals | Canonical на неиндексируемые или чужие адреса | Разработчик |
| 6 | Page Titles, Meta Description, H1 | Одноименные вкладки | Пустые, дублирующиеся и обрезанные теги | SEO-специалист, копирайтер |
| 7 | Near Duplicates | Вкладка Content после анализа обхода | Страницы с почти одинаковым текстом | SEO-специалист |
| 8 | Crawl Depth и Site Structure | Вкладка Site Structure, фильтр в Links | Важные страницы глубже трех-четырех кликов | SEO-специалист, разработчик |
| 9 | Orphan URLs | Вкладки Sitemaps, Analytics, Search Console | Страницы без внутренних ссылок | SEO-специалист, контент-менеджер |
| 10 | Images | Вкладка Images | Тяжелые картинки и пустой alt | Контент-менеджер, разработчик |
Порядок не случаен: сначала то, что мешает роботу попасть на страницу и оставить ее в индексе, потом то, что влияет на выбор страницы в выдаче, и в конце то, что влияет на скорость и описание картинок. Исправленный Title на странице с noindex ничего не даст, поэтому метаданные идут после индексации.
Коды ответа и цепочки редиректов: отчеты 2 и 3
Первым делом откройте Response Codes с фильтром Internal Client Error (4xx): это внутренние ссылки, которые ведут на несуществующие страницы. Чтобы понять, где стоит такая ссылка, выделите адрес и откройте нижнюю вкладку Inlinks, там видны страницы-источники и анкор.
Ошибки 5xx в отчете проверяйте вручную через несколько минут: при быстром обходе сервер иногда отвечает ошибкой из-за нагрузки, а не из-за поломки страницы. Если ошибка повторяется, снизьте скорость обхода в Config, Speed, и запустите проверку этих адресов в режиме List. Как разобраться с найденными 404 и решить, где нужен редирект, а где правка ссылки, подробно описано в статье о реальных и мягких ошибках 404.
Цепочки и петли переадресаций
Отчет Redirect Chains из меню Reports показывает все переходы от исходного адреса до конечного, число шагов и петли. Петли удобно найти, если отфильтровать колонку Loop по значению True.
Исправление почти всегда одно: внутренняя ссылка должна вести сразу на конечный адрес, а старый редирект переписывается так, чтобы вести на финальную страницу за один шаг. Цепочка из двух переходов не катастрофа, но каждый лишний шаг замедляет пользователя и тратит обход робота, а после двух-трех переездов сайта такие цепочки накапливаются незаметно.
Индексируемость и canonical: отчеты 4 и 5
Колонка Indexability во вкладке Internal сразу делит адреса на индексируемые и нет, а колонка Indexability Status объясняет причину: noindex, canonical на другой адрес, редирект или ошибка. Отфильтруйте Non-Indexable и пролистайте список глазами: нужен ответ на вопрос, есть ли среди закрытых страниц те, что должны приносить трафик.
Вкладка Directives показывает, откуда взялся запрет: из мета-тега robots или из заголовка X-Robots-Tag. Второй вариант часто ставится на сервере и в коде страницы не виден, поэтому без краулера его легко пропустить. Закрытие в robots.txt здесь тоже отражается: такие адреса программа не обходит, если вы не отключили учет файла в настройках.
Что смотреть во вкладке Canonicals
Canonical на другой адрес сам по себе не ошибка: на страницах фильтров, сортировок и меток UTM он и должен указывать на основную страницу. Проблемы другие: canonical указывает на страницу с редиректом, с ошибкой 404 или с noindex, тег отсутствует на шаблоне целиком или на одной странице стоит два разных canonical.
Для мультиязычного сайта рядом стоит вкладка Hreflang: она показывает отсутствующие обратные ссылки между языковыми версиями и адреса с неверными кодами языка. Как такие связи должны выглядеть и как их проверить, разобрано в инструкции по настройке hreflang.
Title, Description и H1 одним проходом: отчет 6
Метаданные удобно разбирать одной выгрузкой: в каждой из вкладок Page Titles, Meta Description и H1 есть фильтры Missing, Duplicate и фильтры длины. Пустые и дублирующиеся теги исправляются в первую очередь, потому что поисковик в таких случаях сам придумывает заголовок сниппета и часто выбирает неудачный.
Фильтры длины работают по порогам программы: Title длиннее 60 символов или 561 пикселя, Description длиннее 155 символов или 985 пикселей. Пиксельный порог сама программа называет приблизительным, поэтому Title на 63 символа с главным смыслом в начале исправлять не обязательно. Срочно стоит переписывать те, где обрезка съедает суть страницы или название услуги.
У H1 смотрите фильтр Multiple: два H1 на странице часто появляются, когда логотип или название раздела в шаблоне оформлены этим тегом. Такая ошибка повторяется на всех страницах сайта сразу и исправляется одной правкой шаблона, поэтому ее стоит передать разработчику отдельной задачей.
Практичный прием для любого сайта: выгрузите вкладку Page Titles через Export и отсортируйте по тексту. Повторяющиеся хвосты, одинаковые начала у сотен страниц и шаблонные заголовки видны в таблице за минуту, а в интерфейсе программы теряются.
Почти дубли контента: отчет 7
Полные дубли программа находит сама, а почти одинаковые страницы появятся только после двух шагов: включения проверки в Config, Content, Duplicates и запуска Crawl Analysis после обхода. По умолчанию страницы считаются почти дублями при сходстве текста от 90%, порог можно менять и пересчитывать анализ без нового обхода.
Сходство считается по основному содержимому страницы, а шапку, меню и подвал программа старается исключить. Если на сайте большой одинаковый блок внутри основного текста, например повторяющаяся форма или список преимуществ, почти все страницы окажутся похожими друг на друга. В таком случае уточните область анализа в тех же настройках, иначе отчет будет состоять из ложных совпадений.
Похожие карточки товаров одной модели разных цветов, страницы городов с одинаковым текстом и теги блога обычно и дают основную массу почти дублей. Решение зависит от того, нужна ли каждая такая страница в поиске: если нужна, ей нужен свой текст, если нет, ее объединяют с основной или закрывают от индексации.
Глубина вложенности и страницы-сироты: отчеты 8 и 9
Вкладка Site Structure показывает дерево разделов сайта, и в ней можно переключить вид на Crawl Depth, то есть число кликов от стартовой страницы. Важные коммерческие страницы на глубине пяти-шести кликов обычно получают меньше внутреннего веса и реже обходятся роботом, чем страницы на втором-третьем уровне.

Во вкладке Links есть фильтр страниц с высокой глубиной, порог задается в Config, Spider, Preferences. Лечится глубина ссылками: из меню, со страниц категорий, из статей блога и блока похожих материалов, а не переносом страницы в другой раздел адреса.
Как найти страницы, на которые никто не ссылается
Сирота это страница, до которой обход не дошел по ссылкам со стартовой страницы, хотя она существует. Чтобы такие адреса появились в отчете, программе нужен второй источник: карта сайта XML, данные Google Analytics или Search Console. После обхода запустите Crawl Analysis, и во вкладках Sitemaps, Analytics и Search Console заполнятся фильтры Orphan URLs.
Найденные сироты делятся на два типа: лишние адреса, которые попали в карту сайта по ошибке, и нужные страницы, которые потеряли ссылки после смены меню или удаления раздела. Первые убирают из карты, вторые возвращают в навигацию. Подключение консоли делается через API, а что еще можно взять из нее для такого разбора, описано в статье о восьми отчетах Search Console.
Изображения: вес и alt, отчет 10
Во вкладке Images два фильтра дают больше всего работы: Over 100 kb и Missing Alt Text. Порог веса по умолчанию 100 КБ, его можно поменять в Config, Spider, Preferences, если для вашего сайта такой ориентир слишком строгий или слишком мягкий.
Тяжелую картинку на одной статье блога исправить просто, а вот изображение в шаблоне, которое грузится на каждой странице, тянет вниз скорость всего сайта. Поэтому сортируйте список по числу страниц, где картинка встречается: одна правка в шаблоне даст больше, чем сжатие сотни фото в старых статьях. Как проверить, какая картинка мешает загрузке первого экрана, показано в разборе отчета PageSpeed Insights.
Пустой alt не всегда ошибка: декоративные элементы, иконки и разделители могут и должны оставаться без описания. Описание нужно картинкам, которые несут смысл: фото товара, схема, скриншот, фотография сотрудника.
Ложные тревоги: что выглядит как ошибка, но ею не является
Больше всего времени при первом знакомстве с краулером уходит на находки, которые исправлять не нужно. Если понимать, как пользоваться Screaming Frog с поправкой на устройство вашего сайта, список задач для разработчика сокращается в разы, а в работу уходит только то, что влияет на поиск.
Вот находки, которые чаще всего оказываются нормой:
- canonical на основную страницу у фильтров, сортировок и адресов с метками, если основная страница индексируемая;
- редирект с http на https или со старого адреса на новый у внешних ссылок, которые вы не контролируете;
- Title длиннее порога программы, если главный смысл стоит в начале и обрезка не трогает название страницы;
- пустой alt у иконок и декоративных элементов;
- noindex на страницах корзины, личного кабинета, поиска по сайту и служебных страницах;
- почти дубли у страниц пагинации, где различается только список товаров.
Обратная ситуация тоже бывает: пустой отчет не значит, что проблем нет. Если сайт строит ссылки скриптами, а рендеринг выключен, программа увидит малую часть страниц, и все отчеты будут чистыми только потому, что проверять было нечего. Сравните число найденных адресов с числом страниц в карте сайта: большой разрыв почти всегда указывает на настройки обхода, а не на сайт.
Итог и следующий шаг
Рабочая схема для любого сайта: настроить обход, открыть Issues как оглавление, пройти десять отчетов от кодов ответа и индексации к метаданным, дублям, структуре и картинкам, отсеять ложные тревоги и передать исполнителям список задач с адресами из выгрузок. После правок запустите повторный обход тех же разделов; с лицензией его можно сравнить с предыдущим в режиме Compare и увидеть, что исправилось и что сломалось заново.
Краулер показывает, как сайт видит робот, но не отвечает на вопрос, почему страницы не растут в выдаче: для этого его данные сводят со статистикой поисковиков, анализом конкурентов и семантикой. Если хотите, чтобы такую проверку провели целиком и выдали понятный план работ с приоритетами, можно заказать SEO-аудит: мы разберем технические ошибки, структуру и контент и подскажем, с чего начать.
Частые вопросы
Где скачать Screaming Frog SEO Spider и на чем он работает?
Скачивать программу стоит только с официального сайта разработчика screamingfrog.co.uk, там есть версии для Windows, macOS и Linux. Сборки с торрентов и ключи из сети несут риск вредоносного кода и не обновляются. Бесплатная версия ставится без регистрации, лицензионный ключ вводится в уже установленную программу.
Чем бесплатная версия отличается от версии с лицензией?
Главное отличие в лимите: без лицензии программа обходит до 500 адресов за запуск и не сохраняет обходы. Также по документации без лицензии недоступны большая часть настроек, рендеринг JavaScript, подключение Search Console и Analytics, извлечение данных и сравнение обходов. Для небольшого сайта бесплатной версии хватает на базовую проверку.
Как сменить user agent при обходе сайта?
User agent меняется в меню Config, раздел User-Agent: там есть готовые варианты, включая роботов гугла и бинга, и поле для своего значения. Это нужно, когда сервер отдает ботам другую версию страниц или блокирует неизвестных роботов. Учтите, что защита хостинга иногда ограничивает обход под чужим именем бота.
Почему программа нашла меньше страниц, чем есть на сайте?
Сначала проверьте границы обхода и настройки: по умолчанию программа не выходит за введенный поддомен и соблюдает robots.txt. Частые причины также ссылки, которые строятся скриптами при выключенном рендеринге, ссылки с nofollow и лимит 500 адресов бесплатной версии. Сравните результат с картой сайта, чтобы увидеть, каких разделов не хватает.
Как часто повторять обход сайта краулером?
Повторять обход стоит после каждого заметного обновления сайта: релиза шаблона, переезда, смены меню или массовой загрузки страниц. Между релизами обычно достаточно регулярной проверки раз в месяц или квартал в зависимости от того, как часто меняется сайт. С лицензией обходы можно запускать по расписанию и сравнивать между собой.
