Кейс e-commerce
crawl budget +38% — Маркетплейс электроники на 240k SKU выгрузил access.log за 30 дней в Screaming Frog Log Analyser. Нашли, что Googlebot тратил 41% запросов на фасеты с ?sort=. Закрыли в robots.txt — за 8 недель доля обхода товарных карточек выросла с 22% до 60%.
Кейс SaaS
404 от бота −85% — B2B SaaS-платформа для HR прогнала nginx-логи через GoAccess и ELK. Обнаружили 12 400 обращений Googlebot к удалённым URL /blog/old/*. Настроили 301 на актуальные разделы — за 6 недель 404-ответы снизились с 14% до 2% по данным Search Console.
Частые ошибки
01
Подмена реального обхода данными Search Console.
Считают, что отчёт «Статистика сканирования» = полный обход. На деле GSC агрегирует и сглаживает, а логи показывают каждый хит Googlebot. Из-за этого пропускают паразитные обходы и теряют краулинговый бюджет. Как правильно: Сравнивайте отчёт GSC с сырыми логами за тот же период. Расхождения проверяйте по IP и user-agent.
02
Парсинг логов без верификации Googlebot.
Берут все строки с user-agent Googlebot и считают долю обхода. До 30% таких хитов — фейковые боты и парсеры. Метрики искажаются, выводы о сканировании становятся ложными, бюджет уходит в пустоту. Как правильно: Проверяйте каждый IP обратным DNS-запросом по гайду Google 2023 года. Используйте Screaming Frog Log Analyzer или JetOctopus.
03
Замер обхода за слишком короткое окно.
Анализируют логи за 3–7 дней и делают выводы о приоритетах Googlebot. Бот возвращается к части URL раз в 30–60 дней — короткое окно скрывает реальную картину и приводит к неверным решениям по структуре. Как правильно: Стройте анализ минимум на 30 днях логов, для крупных сайтов — 60–90 дней. Сегментируйте обход по типам страниц.