Sitemaps — XML-файлы с информацией для поисковых систем (таких как Google, Bing, Яндекс) о страницах веб-сайта, которые подлежат индексации. Sitemaps могут помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Использование Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование сайта.
Формат протокола Sitemap Формат протокола Sitemap состоит из XML-тегов. В файле необходимо использовать кодировку UTF-8.
Пример XML-файла Sitemap Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги.
Использование файлов индекса Sitemap Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы его размер не превышал 50 МБ, и тем самым уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap, при этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap (Sitemap index). Формат файла индекса Sitemap похож на формат файла Sitemap.
Подробная информация об использовании файлов индекса Sitemap на официальном сайте: sitemaps.org.
Другие форматы файла Sitemap Канал синдикации (RSS 2.0, а также Atom 0.3 или 1.0) Текстовый файл (в текстовом файле в каждой строке должен быть только один URL)
Местоположение файла Sitemap Рекомендуется располагать файл Sitemap в корневом каталоге сервера, чтобы ссылка выглядела примерно так: http://example.com/sitemap.xml
Все ссылки, перечисленные в файле Sitemap, должны находиться в том же домене, что и сам Sitemap. Например, если файл Sitemap находится по адресу http://www.example.com/sitemap.xml , то он не может включать в себя ссылки страниц с доменов http://subdomain.example.com или http://example.com. Ссылки в файле Sitemap должны указывать на страницы, находящиеся в том же каталоге (или его подкаталогах), что и сам файл Sitemap. Например, если файл Sitemap находится на http://www.example.com/catalog/sitemap.xml, то он не может включать в себя ссылки на страницы http://www.example.com/page.html или http://www.example.com/dir/page.html. Ссылки, указанные в файле Sitemap, должны использовать тот же протокол (например, HTTP), по которому доступен файл Sitemap. Это значит, что если файл Sitemap находится на http://www.example.com/sitemap.xml , то он не может содержать ссылки типа https://www.example.com/page.html и ftp://www.example.com/file.doc.
Проверка файла Sitemap Для определения элементов и атрибутов, которые могут появляться в файлах Sitemap, используются следующие XML-схемы: Для файлов Sitemap: https://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd Для файлов индекса Sitemap: https://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd
Уведомления для сканеров поисковых систем После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом:
с помощью интерфейса поисковой системы указав местоположение файла Sitemap в файле robots.txt выслав HTTP-запрос
Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.
Использование файла robots.txt Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида: Sitemap: <sitemap_location>
Где <sitemap_location> — полный URL файла Sitemap, например: www.site.ru/sitemap.xml
Использование HTTP-запроса Можно указать поисковым системам местонахождение файла Sitemap при помощи HTTP-запроса, используя таблицу: Поисковая система Адрес Описание Google https://google.com/ping?sitemap=<sitemap_location> Обновление файла Sitemap Bing https://www.bing.com/ping?sitemap=<sitemap_location> Bing Webmaster Center , где <sitemap_location> необходимо заменить на полный URL файла Sitemap.
Например, чтобы добавить файл http://www.example.com/sitemap.xml в поисковик Google, нужно отправить HTTP-запрос:
https://google.com/ping?sitemap=http://www.example.com/sitemap.xml
Примечания
Ссылки Официальный сайт (создан при поддержке Google, Yahoo, Microsoft) О файлах sitemaps в центре веб-мастеров Google О файлах Sitemap в Яндекс. Вебмастере Валидатор файлов Sitemap Яндекса Sitemap в Google Code SimpleSitemapGenerator (бесплатная программа для генерации sitemap-файлов)
Категория:XML Категория:Поисковые системы Категория:Форматы файлов