Sitemap.xml или карта сайта: полное руководство для новичков

Каждый специалист по поисковой оптимизации (SEO) знает, что первым шагом в анализе нового сайта является проверка файла sitemap.xml. Этот файл помогает понять, почему определенный контент может не индексироваться поисковыми системами. В этой статье мы подробно объясним, как создать и применить эффективный файл sitemap.xml.

Основы XML-карты сайта

Файл XML-Sitemap представляет собой документ, предназначенный для поисковых систем, который содержит список всех страниц сайта в формате XML. Это ключевой инструмент для улучшения индексации сайта поисковыми системами.

Важно не путать XML-Sitemap с html-картой сайта, предназначенной для пользователей.

Разновидности XML-Sitemap

Существуют два основных типа карт сайта:

1. Стандартная карта сайта: ограничена 50 000 страницами и размером до 50 Мб.
2. Индексная карта сайта: объединяет несколько стандартных карт и используется для больших или многоязычных сайтов. Ограничения такие же, как и у стандартной карты.

Поиск XML-Sitemap

Чтобы найти карту сайта, можно использовать несколько методов:

1. Проверить файл robots.txt, введя в адресной строке URL вида: https://site.com/robots.txt. Здесь может быть указана ссылка на XML-Sitemap.
2. Если в robots.txt ссылка отсутствует, попробуйте ввести в адресной строке: https://site.com/sitemap.xml.
3. Используйте поисковые операторы в поисковой системе, например: «site:site.com filetype:xml».

Структура XML-Sitemap

XML-Sitemap может быть стандартной или индексной. Рассмотрим элементы каждого типа.

Элементы стандартной карты:

• Обязательные: версия XML, кодировка UTF-8, теги <urlset>, <url>, <loc>.
• Необязательные: теги <lastmod>, <changefreq>, <priority>. Стоит отметить, что Google может не учитывать некоторые из этих тегов.

Элементы индексной карты:

• Обязательные: версия XML, кодировка UTF-8, теги <sitemapindex>, <sitemap>, <loc>.
• Необязательные: тег <lastmod>.

Как создать XML-Sitemap?

Создание XML-Sitemap – ключевой момент для оптимизации сайта под поисковые системы. Вот несколько методов, как это можно сделать:

• Использование CMS: Платформы управления контентом, такие как WordPress или Wix, часто предлагают инструменты для автоматической генерации карты сайта. Вам нужно будет изучить, как в вашей CMS реализована эта функция.
• Ручное создание: Для маленьких сайтов вы можете самостоятельно создать карту сайта, используя текстовый редактор и следуя правилам XML-форматирования.
• Использование внешних сервисов: Множество онлайн-генераторов могут автоматически создать карту сайта для вас.

Рекомендации Google по XML-Sitemap

1. Убедитесь, что все URL в карте сайта корректны и принадлежат вашему домену.
2. Размещайте карту сайта в корневом каталоге, чтобы она охватывала все разделы сайта.
3. В файле robots.txt можно указать ссылку на карту сайта.
4. Используйте кодировку UTF-8 для создания файла Sitemap.
5. Если в URL есть специальные символы, они должны быть правильно экранированы.
6. Google не обязан сканировать каждый URL из вашей карты сайта, но это помогает в индексации.
7. Порядок URL в файле не влияет на индексацию.
8. Ограничения для файла: не более 50 000 URL и размером до 50 Мб. Для больших сайтов используйте индексные карты сайта.
9. Включайте только канонические страницы, доступные для индексации.
10. Убедитесь, что URL в карте сайта не заблокированы в файле robots.txt и не содержат мета-тег «noindex».
11. Карта сайта должна автоматически обновляться при изменениях на сайте.

Рекомендации Bing по XML-Sitemap

Требования Bing к XML-Sitemap во многом схожи с Google. Следуя указаниям Google, вы также адаптируете карту сайта под Bing.

Создание XML-карты для сайтов с контентом на разных языках

Для того чтобы поисковые системы корректно воспринимали страницы сайта на различных языках и не считали их дубликатами, существует несколько методов:

1. Использование атрибута rel=»alternate» hreflang=»x» в HTML-коде страницы. Это самый популярный метод.
2. Применение XML-карты сайта.
3. Использование HTTP-заголовков.

В большинстве случаев (около 99%) достаточно применить только первый метод, указав мультиязычность сайта через атрибут rel=»alternate» hreflang=»x».

Для крупных сайтов рекомендуется дополнительно использовать XML-карту сайта для указания мультиязычности.

XML-карта для изображений

Иногда поисковые системы не могут обнаружить изображения на сайте, особенно если они загружаются через JavaScript. Для решения этой проблемы можно:

1. Добавить ссылки на изображения в обычную XML-карту сайта.
2. Создать отдельную карту сайта для изображений.

В рамках тега <url> следует указать теги, специфичные для изображений:

• image:image — содержит информацию об изображении (до 1000 изображений на одну страницу).
• image:loc — расположение файла изображения.

В XML-карте для изображений могут быть также необязательные теги, которые Google не учитывает:

• image:caption — подпись к изображению.
• image:geo_location — место съемки.
• image:title — название изображения.
• image:license — URL лицензии изображения.

Требования к XML-карте для изображений:

• Кодировка UTF-8.
• Не более 50 000 URL и размер до 50 МБ.
• Только канонические, открытые для индексации страницы с кодом ответа 200.
• Не более 1000 изображений на URL.
• Только полноразмерные изображения.
• Регулярное автоматическое обновление.

XML-карта для видео

XML-карта сайта для видео информирует поисковые системы о наличии видео на странице. Это важно для SEO, особенно если видео новое или сложно обнаружимое.

Рекомендации Google для XML-карт видео:

1. Кодировка UTF-8.
2. До 50 000 элементов видео и размер до 50 МБ.
3. Возможность создания отдельной XML-карты для видео.
4. Размещение нескольких видео с одной страницы.
5. Не включать видео, не связанные с основным контентом.
6. Googlebot игнорирует записи, если видео по URL не найдено.
7. Создание XML-карты не гарантирует индексацию.
8. Страницы должны быть каноническими и доступными для индексации.
9. Доступ Googlebot к видеофайлу и проигрывателю.
10. Регулярное автоматическое обновление.

Создание XML-карты для новостных сайтов

Новостные порталы могут использовать специализированные XML-карты с автоматическим обновлением каждый день. Эти карты предназначены для сайтов, включенных в Google Новости. Если ваш сайт еще не в списке, можно подать заявку на включение.

Важно, чтобы в файле sitemap были только ссылки на статьи, опубликованные в последние два дня. Статьи, опубликованные более двух дней назад, можно удалять из карты, но они останутся в индексе Google Новостей до 30 дней.

Ограничение в 1000 URL для таких карт обусловлено частым сканированием Google, что помогает избежать перегрузки системы. Если контента на сайте за два дня накапливается больше, можно создать индексный файл sitemap для объединения нескольких карт.

Google советует обновлять XML-карту для новостей по мере публикации новых материалов. Размещать её нужно в корневом каталоге или в разделе новостей сайта.

Как подключить карту сайта

Существует несколько способов сообщить поисковым системам о вашей XML-карте:

• Через Google Search Console;
• Отправка запроса ping с полным URL вашего XML-Sitemap;
• Размещение ссылки на карту сайта в файле robots.txt.

XML-карта анализируется при первом обнаружении, а не при каждом сканировании. Поэтому при изменениях в файле используйте запрос ping для уведомления поисковой системы.

Распространенные ошибки в XML-Sitemap Чтобы избежать ошибок при создании sitemap, следуйте рекомендациям. Ошибки можно проверить через Google Search Console или с помощью инструментов вроде Netpeak Spider.

Распространенные ошибки при работе с XML‑картой сайта

Распространенные ошибки при работе с XML‑картой сайта приводят к тому, что нужные страницы не попадают в индекс или сканируются с задержкой. Чтобы избежать потери трафика, важно заранее знать типичные проблемы и проверять карту сайта на их наличие через инструменты вроде Google Search Console или специализированные краулеры. Правильная структура sitemap и корректные URL помогают поисковым системам быстрее находить и обрабатывать контент.

Чаще всего владельцы сайтов включают в XML‑карту некорректные адреса: страницы с ошибкой ответа сервера, дубли, URL, закрытые от индексации через robots.txt или мета‑тег «noindex». В результате поисковый робот тратит краулинговый бюджет на бесполезные страницы, а важные разделы могут оставаться неохваченными. Также распространена ситуация, когда в файл попадают неканонические версии страниц, что создает для поисковой системы противоречивые сигналы.

Отдельная группа ошибок связана с нарушением технических ограничений. Владелец сайта может превысить лимит в 50 000 URL или 50 Мб для одного файла, не использовать индексные карты для крупных проектов, игнорировать требование кодировки UTF‑8 или не экранировать специальные символы в адресах. В таких случаях часть URL просто не обрабатывается, а сам файл может восприниматься как некорректный.

Еще одна типичная проблема — отсутствие актуализации. XML‑карта создается один раз и не обновляется при добавлении или удалении страниц, изменении структуры разделов, публикации нового контента, изображений, видео или новостей. Поисковая система продолжает ориентироваться на устаревший список URL, что замедляет индексацию свежих материалов. Чтобы этого избежать, карту сайта необходимо генерировать автоматически и при существенных изменениях дополнительно отправлять запрос ping в поисковую систему.

Наконец, многие сайты размещают sitemap не в корневом каталоге и не указывают на него ссылку в файле robots.txt. Это усложняет обнаружение файла роботами и замедляет первичное сканирование. Оптимальная стратегия — держать карту в корне домена, следить за ее соответствием рекомендациям Google и включать только те страницы, которые действительно должны индексироваться и приносят ценность пользователям.

Лайфхак

Большие карты сайта могут не сканироваться полностью. В некоторых случаях разделение карты на части по 1000 или 10 000 страниц дает лучшие результаты. Меньшие списки URL легче обрабатываются поисковыми системами. Однако не стоит дробить карту слишком мелко, так как Google Search Console отображает данные только о 1000 URL из каждой карты.

Размер каждого sitemap следует рассчитывать, исходя из объема и структуры сайта. В некоторых случаях может быть полезно тестировать разделение файлов sitemap по разделам, количеству URL и новизне контента.

Заключение

• XML-карта сайта помогает поисковым системам находить и индексировать нужные страницы, содержащие URL и дополнительные данные, такие как время последнего обновления.
• Можно создавать отдельные карты для изображений, видео и новостей Google.
• Для небольших сайтов можно создавать карту вручную, но для больших сайтов лучше использовать автоматизированные инструменты.
• Регулярное автоматическое обновление карты сайта обеспечивает актуальность данных для поисковых систем.

• 9 мин