Заявка
SEO и сайты SEO-специалисту

Как исправить ошибки 404 и мягкие 404

Валерий БуренинTeam-лид SEO-отдела GUSAROV

Обновлено

11 мин чтения

Коротко

Обычную 404 оставляют, если страницы больше нет и на нее не ведут ссылки, а мягкую 404 исправляют: сервер должен отвечать честным кодом ошибки или страница должна получить содержимое. Перемещенные адреса перенаправляют 301-редиректом на близкую замену, а не на главную, и в первую очередь чинят битые ссылки внутри сайта.

Как исправить ошибки 404 и мягкие 404

Битые адреса появляются на любом живом сайте: товар сняли с продажи, статью объединили с другой, кто-то опечатался в ссылке. Сама по себе ошибка 404 для SEO не страшна, проблемы начинаются, когда сервер отвечает неправильным кодом, когда на несуществующие страницы ведут ссылки из меню или когда пустая страница притворяется рабочей. Такие случаи тратят обход робота и путают отчеты, а посетитель упирается в тупик.

После статьи вы сможете найти битые и мягкие 404 в консоли гугла, Вебмастере яндекса и краулере, отделить те, что нужно чинить, от тех, что можно оставить, и выбрать для каждого адреса правильный ответ сервера: 404, 410, 301-редирект или доработку страницы.

Чем обычная 404 отличается от мягкой и почему это различие решает все

Обычная 404 честно сообщает: страницы нет, сервер отвечает кодом 404 или 410, и поисковик убирает адрес из индекса. Мягкая 404 устроена наоборот: сервер отвечает кодом 200, то есть «все в порядке», а на экране пусто, стоит сообщение «ничего не найдено» или текста почти нет.

Гугл распознает такие страницы по содержимому и помечает их в консоли отдельной причиной. По справке гугла, мягкой 404 считается и ситуация, когда несуществующий адрес перенаправляет посетителя на другую страницу, например на главную, вместо ответа 404. Для поисковика это противоречивый сигнал: код обещает живую страницу, а содержимое говорит об обратном.

Отсюда главное различие в работе. Обычные 404 чаще всего нужно просто разобрать и решить, что с ними делать. Мягкие 404 почти всегда означают ошибку в настройке сайта или шаблона, и пока ее не исправить, такие адреса будут появляться снова, иногда сотнями, например на каждой пустой странице фильтра.

Вредят ли 404 позициям сайта

Нет, сами по себе ответы 404 позициям не вредят: в справке гугла об ошибках 404 прямо сказано, что они не влияют на индексацию и ранжирование остальных страниц сайта. Удаленная страница, которой нет замены, должна отдавать 404, это нормальное поведение.

Вред появляется косвенно, и его стоит отличать от мифа. Если удалили страницу, на которую вели внешние ссылки и шел трафик, теряются переходы и польза от этих ссылок. Если битые адреса стоят в меню, карточках или карте сайта, робот снова и снова ходит в тупики, а посетитель уходит. Если сломан шаблон и мягкие 404 отдают тысячи пустых страниц, робот тратит обход на мусор вместо новых материалов.

Поэтому цель не в том, чтобы обнулить счетчик в отчете. Цель в том, чтобы на сайте не осталось ссылок на несуществующие адреса, ценные старые страницы перенаправляли на замену, а пустые страницы не выдавали себя за рабочие.

Понять, какие из удаленных страниц были ценными, помогает простая сверка. Возьмите список адресов с ответом 404 и найдите их в отчете об эффективности консоли гугла за последние месяцы, а затем в списке внешних ссылок сервиса, которым вы пользуетесь. Адреса, у которых были показы, клики или ссылки с других сайтов, идут в работу первыми. Именно на них связь между ошибкой 404 и SEO видна в цифрах: трафик этих страниц можно вернуть редиректом на замену, а для остальных адресов разницы почти не будет.

Где искать битые адреса: консоль гугла, Вебмастер и краулер

Начинать удобнее всего с отчета об индексировании страниц в консоли гугла: там есть отдельные причины для адресов, которые не найдены, и для мягких 404. Нажмите на причину, и откроется список адресов с датой последнего обхода, а инструмент проверки адреса покажет, как робот видит страницу сейчас.

Схема сайта в виде дерева карточек, лупа над пустым местом пропавшей страницы

В Вебмастере яндекса битые адреса видны в разделе «Страницы в поиске»: в исключенных страницах указана причина, по которой адрес выпал из выдачи. Код ответа конкретной страницы удобно проверить инструментом проверки ответа сервера в том же Вебмастере. Он показывает, что получает робот, а не браузер, и помогает поймать страницы, которые выглядят как ошибка, но отвечают кодом 200.

Консоли показывают то, что робот уже нашел, а краулер показывает, откуда на сайте ведут ссылки на битые адреса. Программы вроде Screaming Frog обходят сайт как робот и выдают список страниц с кодом 404 вместе со страницами-источниками. Это главный рабочий список: исправлять нужно прежде всего ссылки внутри сайта. Как встроить такую проверку в общий разбор, мы описали в руководстве о том, как сделать полный SEO-анализ сайта.

Есть и четвертый источник, о котором часто забывают: журналы сервера и отчеты аналитики по странице ошибки. Если на шаблон 404 стоит счетчик, в отчете видно, с каких адресов и источников люди туда попадают, и это помогает найти битые ссылки на внешних сайтах и в рассылках.

Какие 404 исправлять, а какие оставить как есть

Чинить нужно те 404, на которые ведут ссылки или люди, остальные можно оставить. Решение удобно принимать по источнику адреса, а не по их числу в отчете. Проверяйте каждый адрес по порядку, первый подходящий ответ и определяет действие:

  1. Адрес есть в меню, тексте, карточке или карте сайта? Исправьте ссылку на рабочий адрес и уберите его из карты сайта, редирект здесь вторичен.
  2. На адрес ведут внешние ссылки или по нему были переходы из поиска? Поставьте 301-редирект на самую близкую по смыслу живую страницу.
  3. Адрес похож на частую опечатку или старую версию ссылки? Тоже редирект: справка гугла советует перенаправлять распространенные ошибки написания на правильную страницу.
  4. Страница удалена навсегда, замены нет, ссылок нет? Оставьте 404 или 410, это правильный ответ.
  5. Адрес никогда не существовал и собран ботом или чужим сайтом с ошибкой? Ничего не делайте.

Такой порядок экономит время: в отчете часто много адресов из последних двух пунктов, и разбирать их вручную не нужно. По документации гугла удаленные страницы со временем пропадают из отчета, а частота их обхода постепенно снижается.

Отдельная ловушка: адрес пропал из-за ошибки, а не по решению. Если в списке 404 оказались страницы, которые должны работать, например целая категория после обновления плагина или смены настроек ссылок, это не повод для редиректов. Сначала верните страницы, потом проверьте, что они снова отвечают кодом 200.

Что отдавать вместо страницы: решения по типам адресов

Ответ сервера выбирается по тому, что стало с содержимым: переехало, исчезло навсегда или временно пустует. Ниже решения для ситуаций, которые встречаются чаще всего на сайтах услуг и в интернет-магазинах.

Ситуация Что отдавать Почему так
Страница переехала на новый адрес 301-редирект на новый адрес Посетитель и ссылки попадают на то же содержимое
Товар снят навсегда, есть прямая замена 301 на модель-замену Замена отвечает тому же интенту
Товар снят навсегда, замены нет 404 или 410, на странице ошибки ссылка на категорию Редирект на главную гугл считает мягкой 404
Товара временно нет в наличии Код 200, полная карточка с пометкой о наличии и похожими моделями Страница вернется, ее не нужно выкидывать из индекса
Пустая категория или фильтр без товаров Наполнить, закрыть от индексации или отдавать 404 Пустой список с кодом 200 и есть мягкая 404
Страница внутреннего поиска без результатов Закрыть такие страницы от индексации Им нечего делать в выдаче поисковика
Адрес с опечаткой, на который ссылаются 301 на правильный адрес Переходы по чужой ссылке не теряются

Про 410 часто спрашивают отдельно. По документации гугла ответ 410 сейчас обрабатывается так же, как 404, поэтому выбирать между ними можно по удобству настройки. Код 410 честнее говорит «удалено навсегда», и его удобно ставить на группы адресов, которые точно не вернутся.

Если удаляете страницы потому, что меняете схему адресов, сначала договоритесь о правилах: короткие, понятные, без лишних параметров. Об этом подробно в статье о том, как создать корректный адрес страницы. Тогда новые 404 не появятся через полгода после очередной переделки.

Перед тем как ставить редирект, проверьте замену глазами: откройте старую страницу в веб-архиве или в своей копии и новую рядом. Если человек, который искал старое содержимое, найдет на новой странице ответ на тот же вопрос, редирект оправдан. Если нет, честная 404 со ссылками на раздел полезнее: она не обманывает ни посетителя, ни робота.

Мягкие 404: типичные причины и как их убрать

Мягкую 404 убирают одним из двух способов: либо страница начинает отвечать честным кодом ошибки, либо на ней появляется полноценное содержимое. Выбор зависит от того, нужна ли эта страница человеку из поиска.

Аккуратная картонная коробка с поднятой крышкой, внутри пусто

Причины на большинстве сайтов повторяются, поэтому проверять их удобно по списку:

  • шаблон страницы ошибки отдает код 200: внешне это 404, а для робота обычная страница, исправляется в настройках сервера или CMS;
  • пагинация за последней страницей: адрес вида /page/40/ при 12 реальных страницах показывает пустой список вместо ошибки;
  • пустые метки, архивы и категории, которые CMS создает автоматически, а наполнять их некому;
  • карточки и статьи, где почти нет текста: заголовок, одна строка и форма заявки;
  • сайт на JavaScript, где любой адрес получает от сервера одну и ту же оболочку с кодом 200;
  • массовый редирект удаленных страниц на главную или на корень каталога.

Для сайтов, где страницы собирает JavaScript в браузере, у гугла есть два официальных приема, описанных в основах SEO для сайтов на JavaScript: перенаправить на адрес, для которого сервер отвечает кодом 404, например /not-found, или добавить на страницу ошибки метатег robots со значением noindex. Первый вариант надежнее, потому что код видят и робот, и инструменты проверки.

Бывает и ложное срабатывание: нормальная страница попала в мягкие 404, потому что робот увидел ее не полностью. Откройте ее в инструменте проверки адреса и посмотрите отрисованную версию. Если текст на месте, отправьте адрес на повторную проверку. Если пусто, ищите причину в скриптах или блокировке ресурсов.

Страница ошибки, которая помогает посетителю

Хорошая страница 404 возвращает человека на сайт за один клик и при этом отвечает роботу кодом 404. Обе задачи решаются одновременно, одна не мешает другой.

На странице ошибки стоит оставить шапку и меню сайта, короткое объяснение без технических слов, поиск по сайту и 3-4 ссылки туда, куда люди идут чаще всего: каталог, услуги, контакты. Для магазина уместны популярные категории, для блога свежие статьи. Не нужно прятать на ней длинный текст или просить оставить заявку: человек пришел за другим.

После правки шаблона обязательно проверьте код ответа на нескольких несуществующих адресах, например /test-404-proverka/ и адресе внутри каталога. Частая картина после редизайна: страница выглядит отлично, а код по-прежнему 200, и через пару недель в консоли растет число мягких 404.

Страницу ошибки полезно сделать источником данных. Поставьте на ее шаблон цель или событие в аналитике и раз в месяц смотрите, с каких адресов и источников туда приходят люди. Если заметная часть переходов идет с одного внешнего сайта или из одной рассылки, проще попросить исправить ссылку или поставить редирект с этого адреса, чем ждать, пока он сам пропадет из отчетов.

Ошибки при исправлении, из-за которых проблема возвращается

Самая частая ошибка это редирект всех удаленных адресов на главную. Счетчик 404 в отчете падает, но гугл считает такие перенаправления мягкими 404, посетитель вместо нужного товара попадает на общую страницу, а польза от ссылок на старые адреса не переходит к нужной странице.

Другие ошибки встречаются реже, но обходятся не дешевле:

  • битые адреса закрывают в robots.txt: робот перестает их обходить и не видит код 404, справка гугла прямо советует так не делать;
  • вместо удаленной страницы ставят пустую заглушку «скоро здесь будет контент», то есть создают новую мягкую 404;
  • редиректы выстраиваются в цепочки: старый адрес ведет на промежуточный, тот на третий, и каждая переделка добавляет звено;
  • исправляют адреса в отчете, но не ссылки на них в меню и текстах, и через месяц те же 404 появляются снова;
  • удаленные адреса остаются в карте сайта, и робот получает их как приглашение.

Больше всего 404 обычно появляется после переезда или смены структуры, когда старые адреса не сопоставили с новыми. Если такой переход только предстоит, начните с таблицы соответствия адресов, порядок работ мы разобрали в материале о том, как переехать без потери трафика и позиций.

Итог: порядок работ, который можно выполнить за неделю

Если коротко, обычные 404 разбирают по источнику адреса, мягкие исправляют в шаблонах, а редиректы ставят только туда, где есть близкая по смыслу замена. Ошибка 404 в SEO становится проблемой, когда на нее ведут ссылки или когда код ответа не совпадает с содержимым страницы.

Рабочий порядок такой: выгрузить адреса из консоли гугла и Вебмастера, обойти сайт краулером и исправить внутренние ссылки, пройти оставшиеся адреса по пяти вопросам выше, проверить шаблоны на мягкие 404 и настроить страницу ошибки. Через 2-3 недели стоит открыть отчеты снова и сравнить, какие причины ушли, а какие появились.

Если битых адресов много или они возвращаются после каждого обновления, загляните на страницу технической оптимизации сайта и оставьте заявку: разберем отчеты, найдем, где сайт создает лишние адреса, и поможем исправить причину, а не только последствия.

Читайте по теме: ChatGPT для SEO: 15 задач, которые он решает хорошо

Частые вопросы

Что означает ошибка 404 на сайте и откуда она берется?

Ошибка 404 означает, что сервер не нашел страницу по запрошенному адресу. Чаще всего ее вызывают удаленные или переименованные страницы, опечатки в ссылках и старые адреса после смены структуры сайта. Посетитель видит страницу «не найдено», а поисковик со временем убирает такой адрес из индекса и реже его обходит.

Чем код 410 отличается от 404 для удаленных страниц?

Главное отличие в смысле: 410 сообщает, что страница удалена навсегда, а 404 только говорит, что ее нет. По документации гугла сейчас оба кода обрабатываются одинаково, поэтому особой разницы в результате ждать не стоит. Код 410 удобно ставить на группы адресов, которые точно не вернутся, например на снятый с продажи раздел.

Можно ли закрыть битые страницы в robots.txt?

Нет, так делать не стоит: если закрыть адрес в robots.txt, робот перестанет его обходить и не увидит ответ 404, а сам адрес может еще долго оставаться в выдаче без описания. Справка гугла прямо советует не блокировать такие страницы. Правильнее оставить честный код 404 или 410 и убрать ссылки на этот адрес.

Почему товар без наличия попал в мягкие 404?

Робот может принять такую карточку за пустую, если вместо описания и характеристик на ней осталась только надпись «нет в наличии». Чтобы страница сохранилась в индексе, оставьте на ней полное описание, фото и характеристики, добавьте похожие модели и срок поступления, если он известен. Код ответа при этом остается 200.

Сколько ждать, пока удаленная страница пропадет из отчета?

Обычно около месяца: по справке гугла адреса удаленных страниц, которые отвечают 404, со временем исчезают из отчета, а частота их обхода постепенно снижается. Ускорить проверку можно инструментом проверки адреса в консоли и переобходом в Вебмастере яндекса. Если адрес держится в отчете дольше, проверьте, не ведут ли на него ссылки с сайта.

Валерий Буренин

Team-лид SEO-отдела GUSAROV

Руководит SEO-командой и отвечает за реализацию стратегий поискового продвижения. Практикующий SEO-специалист с фокусом на рост органического трафика и качества лидов.

Об авторе

Хотите разобрать ваш сайт вместе со специалистом?

Оставьте заявку на бесплатную стратегическую сессию: посмотрим сайт и покажем точки роста за 24 часа.

Что вы получите после заявки

  • Разберем ваш сайт
  • Покажем точки роста
  • Сессия бесплатная

Новое на сайте