Индексация (indexation) — это процесс, при котором поисковая система добавляет страницы сайта в свою базу данных. Простыми словами, до индексации страницы для Google и Яндекса не существует — её нельзя найти по запросу. Сам термин закрепился в SEO ещё в конце 1990-х, когда AltaVista и ранний Google запустили промышленный краулинг веба.
В 2018 году Google перешёл на mobile-first indexing: робот Googlebot Smartphone стал основным сканером для всех новых сайтов. Что это значит на практике — без индексации органическое продвижение невозможно, поэтому отчёт «Страницы» в Search Console сегодня открывают чаще, чем позиции по ключам.
§ 01Как работает индексация
Индексация проходит в три шага: обнаружение URL (через sitemap.xml или ссылки), краулинг роботом Googlebot и обработка контента с записью в индекс. Простыми словами, краулер скачивает HTML, рендерит JavaScript через Web Rendering Service на базе Chromium и сохраняет токены, теги, ссылки. По данным Google за 2023 год, в индекс попадает не каждая просканированная страница — фильтр качества отсеивает дубли и тонкий контент.
§ 02Зачем нужна индексация сайта
Без индексации страницы её нет в выдаче — значит, нет органического трафика, лидов и продаж. Что это значит для бизнеса: новый материал блога, опубликованный сегодня, начнёт приносить визиты только после посещения Googlebot и записи в индекс. У крупных СМИ это занимает минуты, у молодого сайта — от 3 дней до нескольких недель. Джон Мюллер из Google не раз повторял: индексация не гарантирована, поисковик решает сам.
проиндексировано 12k → 47k — Интернет-магазин одежды на Shopify закрыл фасетные URL через robots.txt и настроил динамический sitemap. За 4 месяца в индекс Google вошло 47k страниц из 52k. Контроль через Search Console Coverage и Ahrefs.
органика +38% за 5 мес — B2B SaaS-платформа для HR убрала noindex с блога и добавила внутреннюю перелинковку из 6 хабовых страниц. Доля проиндексированных URL выросла с 41% до 92% за 5 месяцев. Замер через GSC Pages и GA4 Acquisition.
§ 03Как проверить и ускорить индексацию
Базовая проверка — оператор site:example.com/page в Google. Точные данные даёт Google Search Console: отчёт «Страницы» показывает статусы «Проиндексировано», «Обнаружено — не проиндексировано», «Просканировано — не проиндексировано». Для ускорения используют инструмент «Проверка URL» с кнопкой «Запросить индексирование», свежий sitemap.xml и внутренние ссылки с трафиковых страниц. В Яндексе аналог — IndexNow и раздел «Переобход страниц» в Вебмастере.
§ 04Подводные камни индексации
Главные блокировщики: директива noindex в meta robots, запрет в robots.txt, неправильный canonical, ответ сервера 4xx или 5xx, soft 404. После March 2024 Core Update Google стал жёстче выкидывать из индекса страницы с малой ценностью — массовый AI-контент попадает под раздачу. Краулинговый бюджет (crawl budget) расходуется впустую на дублях фасетной навигации интернет-магазинов, поэтому фильтры товаров закрывают через canonical или параметры в GSC.