Robots meta-тег — это HTML-инструкция в блоке <head>, которая простыми словами говорит поисковику: индексировать страницу или нет, идти ли по ссылкам. Стандарт оформился в 1996 году вместе с robots.txt, а Google расширил набор директив (noindex, nofollow, noarchive, max-snippet) к 2019 году, когда официально признал X-Robots-Tag равноправной альтернативой.
Robots-метатег нужен для тонкого управления индексацией: что это значит на практике — закрытие фильтров, корзин, тестовых разделов от попадания в выдачу. По данным Search Console, неверный noindex остаётся одной из топ-3 причин выпадения страниц из индекса.
§ 01Зачем нужен
Robots meta-тег нужен, когда страницу нельзя закрыть через robots.txt — например, если на неё уже идут внешние ссылки. Директива noindex убирает URL из выдачи Google за 1–2 краула, а nofollow отменяет передачу веса по ссылкам. John Mueller в 2020 году подтвердил: для гарантированного выпадения страницы из индекса используют именно мета-тег, а не Disallow.
§ 02Как настраивается
Robots-метатег размещают в <head> в формате <meta name='robots' content='noindex, follow'>. Простыми словами: первая директива решает судьбу страницы в индексе, вторая — судьбу ссылок на ней. Для отдельных ботов меняют name: googlebot, yandex. С 2019 года Google поддерживает max-snippet:155, max-image-preview:large, unavailable_after — управление сниппетами и сроком жизни страницы в выдаче.
индексация −1200 URL — Интернет-магазин одежды на Shopify закрыл фасетные фильтры через в шаблоне коллекций. За 8 недель из индекса ушло 1200 мусорных URL, краулинговый бюджет на товарные карточки вырос. Замер в Google Search Console и логах сервера через Screaming Frog Log Analyzer.
органика +28% — B2B SaaS-платформа для HR убрала noindex с раздела блога после редизайна — тег остался от стейджинга. После правки в Next.js-шаблоне и переобхода через GSC органический трафик вырос на 28% за 4 месяца. Динамика отслежена в GA4 Acquisition и Ahrefs Site Explorer.
§ 03Где смотреть результат
Проверка идёт через инструмент Проверка URL в Search Console: блок Индексирование показывает, какие директивы увидел Googlebot. Screaming Frog при краулинге выводит колонку Meta Robots для всех страниц сайта — удобно для аудита на 10 000+ URL. В Ahrefs Site Audit отдельный отчёт Indexability подсвечивает конфликты между canonical, robots.txt и meta-тегом. Для чего нужно: быстро находить страницы с ошибочным noindex.
§ 04Подводные камни
Robots meta-тег не работает, если страница закрыта в robots.txt — бот просто не дойдёт до <head> и не увидит noindex. Этот парадокс описан в документации Google с 2017 года. Вторая ловушка: длительный noindex (более 1 года) Google трактует как nofollow по умолчанию — ссылки со страницы перестают передавать вес. Третья — конфликт между meta-тегом и HTTP-заголовком X-Robots-Tag: побеждает самая строгая директива.