Sitemap – это файл, помогающий посетителям или поисковому роботу ориентироваться в сетевом ресурсе. Существует два варианта создания карты сайта: в формате XML и HTML. Первый веб-мастеры генерируют для поисковых роботов, вторые чаще всего формируют вручную для пользователей сайта. HTML-карта – это обычная веб-страница с URL-адресами контента, собранными в определенной иерархии. XML-карта – это тоже каталог сетевых адресов страниц сайта, только сформированный с использованием специальной разметки, удобной для поисковых систем.
Карта в формате XML
В официальных справочниках сервисов Google и «Яндекс» можно найти много полезной информации по созданию, обновлению и публикации карты сайта. Там же есть данные по структуре файлов sitemap.xml. Эта статья содержит только самые важные и полезные для обычного пользователя данные.
Основные задачи файла:
Предоставление сетевых адресов всех страниц сайта в удобной для быстрого просмотра форме.
Передача информации о частоте и времени последнего обновления контента, приоритетности, альтернативных версиях страниц.
Карта сайта может содержать различную информацию, способствующую быстрой и правильной индексации в поисковых системах нужных страниц сетевого ресурса.
Важность присутствия карты на сайте
Для поисковой оптимизации наличие карты сайта является обязательным фактом. Любая помощь поисковой системе в просмотре и анализе содержимого сетевого ресурса оказывает положительное влияние на ранжирование контента. Так считают оптимизаторы и веб-мастеры. Сразу после завершения работы над сайтом они создают файл sitemap.xml и показывают его поисковикам.
Для поисковых систем отсутствие такого файла не играет существенной роли. Роботы – самостоятельное программное обеспечение, не нуждающееся в дополнительных указаниях. Они сами найдут все необходимое без специально созданных страниц со ссылками. Если добавить сайт в панель веб-мастера «Яндекса» или Google без предоставления ссылки на карту сайта, то сервис определит проблему как рекомендованную, а не критичную или фатальную.
Основные причины создания карты:
Наличие страниц, не имеющих входящих ссылок из меню или контента сайта.
Сетевой ресурс имеет сложную структуру и большое количество страниц с разнообразным содержимым.
Регулярное обновление сайта.
На сайте есть иерархия страниц по важности.
Карта сайта позволяет ускорить индексацию содержимого и упростить процесс предоставления новых данных о сайте поисковой системе.
Создание и подключение
Получить файл можно разными вариантами, включая ручное составление списка всех адресов страниц. Конечно, чаще всего прибегают к различным средствам автоматизации. Например, используют серверное или обычное программное обеспечение. Для создания и регулярного обновления карты сетевого ресурса в автоматическом режиме проще всего использовать возможности CMS. Если система управления содержимым не имеет встроенного инструмента, то находят и устанавливают дополнительный модуль. За время существования поискового индекса было разработано множество программ и дополнений под любые требования пользователя и поисковых систем.
Использование онлайн-генераторов:
Найдите в сети подходящий сервис.
Укажите адрес сетевого ресурса.
Запустите программное обеспечение в работу нажатием соответствующей кнопки.
Робот сервиса обойдет страницы сайта и сформирует карту адресов.
По завершении работы сервис выдаст пользователю ссылку на скачивание sitemap.xml. Скачайте файл и загрузите в корневую директорию сайта. Недостатком способа является получение статичной карты. После добавления новых страниц придется вручную повторять вышеуказанную операцию, удалять устаревший файл и загружать актуальную версию.
Использование инструментов CMS на примере WordPress
Устанавливаем и активируем подходящий плагин, например Google XML Sitemaps.
Заходим на страницу настроек и разрешаем: уведомлять поисковую систему об обновлении карты, добавить адрес расположения sitemap.xml в файл robots.txt, автоматически сжимать данные по мере необходимости.
В разделе «Приоритет статьи» запрещаем использовать автоматический расчет приоритета страниц, если для вас важно иметь возможность самостоятельно изменить их приоритетность.
Переходим к настройке содержимого карты и отмечаем галками необходимые пункты. В подразделе «Другие опции» разрешаем сервису установить дату последнего обновления карты.
В следующем разделе сервис предлагает изменить периодичность проверки файла на наличие новых ссылок и любых других изменений. Можно установить любые значения, так как поисковики обычно сами решают, когда выполнить очередной обход.
Далее переходим в раздел «Приоритеты», который позволяет установить важность страниц путем выбора нужного значения из выпадающего списка. Установленные значения также могут быть проигнорированы поисковыми роботами, поэтому можно их оставить так, как есть.
Сохраняем изменения.
Плагин автоматически создаст файл и поместит его в нужную директорию. С этого момента веб-мастер может забыть о существовании sitemap.xml, так как сервис возьмет поддержку актуального состояния файла на себя. Осталось только указать поисковику адрес расположения новой карты сайта. Делают это через панель управления веб-мастера в соответствующей поисковой системе.
Создание карты вручную
Информация дается с целью ознакомления со структурой текстового файла, сохраненного в формате xml и используемого в качестве карты сайта. Создавать вручную такие объемные файлы нецелесообразно, так как современное программное обеспечение очень качественно и быстро справляется с поставленной задачей.
Особенности тестового файла
Для создания карты сайта вручную можно воспользоваться блокнотом или любым другим текстовым редактором. Данные записывают в файл, используя специальные символы и коды XLM-разметки. После того как закончите вписывать все ссылки и указания для поисковой системы, файл нужно сохранить с расширением xml.
Пример кода карты сайта:
Стандартный заголовок, сообщающий о версии используемого кода и кодировке символов: .
Указание стандарта протокола:
Перечисление адресов страниц сайта с указанием различных параметров:
Закрытие файла тегом: .
Теги urlset, url, loc являются обязательными, остальные можно использовать по желанию. Многие оптимизаторы не ограничиваются созданием общей карты сайты. Дополнительно делают карту изображений, отдельную для видео, новостей сайта и других разделов. Такие карты позволяют передать поисковой системе информацию, которая недоступна обычным путем ввиду особенностей внедрения контента в страницу, например посредством скриптов.
Несколько sitemap.xml
Потребность в использовании нескольких карт сайта возникает в случае одновременного применения разных систем управления содержимым, необходимости добавления больше 50 тыс. страниц на сайт, обеспечения удобных условий для отслеживания возникающих ошибок в огромном количестве разных разделов и по другим причинам.
Все созданные карты нужно объединить в одну. То есть создать текстовый файл и записать в него все карты, используя специальные теги.
Код общего sitemap:
Стандартный заголовок: .
Стандарт протокола:
Перечисление всех карт сайтов с указанием необходимых параметров:
Перечисляем все карты и закрываем код тегом .
Таким образом объединяют только обычные XML-карты, которые отдельно не индексируются. Для отдельной индексации нескольких sitemap их необходимо добавить в индекс через панель веб-мастера, указав поисковой системе точный путь к файлу каждой карты.
Передаем адрес карты сайта поисковой системе
Чтобы поисковый робот Google смог найти вашу карту, нужно зайти в Google Search Console, выбрать раздел «Файлы Sitemap», ввести в соответствующее поле сетевой адрес файла и нажать на кнопку «Отправить». Через некоторое время программное обеспечение сервиса проверит наличие файла по указанному адресу. Если карта сайта будет обнаружена, робот проанализирует содержимое и покажет пользователю результат проведенной работы. При обнаружении ошибок составит подробный отчет по каждой с добавлением рекомендаций по устранению всех проблем. Если погрешностей нет, в статусе карты сайта появится надпись: «Успешно».
Чтобы передать адрес sitemap.xml поисковой системе «Яндекс», нужно войти в панель веб-мастера, в разделе «Индексирование» найти подраздел «Файлы Sitemap», ввести в форму путь к файлу и нажать на кнопку «Добавить». Узнать об ошибках можно в разделе «Диагностика».
Ограничения и особенности
Создавая и добавляя карту сайта, пользователь повышает шансы на быстрое и регулярное индексирование всех страниц сетевого ресурса. Существенно снижается вероятность потери контента для поиска. Робот обойдет все адреса, прописанные в файле, учтет все замечания веб-мастера, проиндексирует доступный материал. Чтобы карта сайта работала должным образом, при ее создании пользователь должен учесть несколько ограничений.
Требования к sitemap.xml:
Файл не должен содержать более 50 тыс. адресов страниц.
Размер файла должен быть меньше или равным 10 Мбайт.
Владельцы популярных и больших сетевых ресурсов нашли несколько способов решения проблем, связанных с этими ограничениями. Если ваш сайт требует наличия карты, которая не вписывается в установленные рамки, воспользуйтесь вариантом из нижеследующего списка.
Варианты решения проблемы наличия ограничений:
Сократите количество ссылок, убрав из файла адреса страниц, имеющих очень низкий приоритет. Оставьте важные ссылки и адреса страниц, которые доступны поисковому роботу только через карту сайта.
Создайте несколько файлов sitemap и передайте их адреса поисковым системам.
Если проблема в размере, воспользуйтесь архиватором для сжатия данных.
Карта сайта для посетителей
Sitemap для пользователей существенно отличается от карты для поискового робота. Это обычная страница сайта с множеством ссылок с анкорами, описанием контента, навигационными и дизайнерскими элементами. Пользовательскую карту сайта создают с целью ускорения поиска информации в пределах сетевого ресурса.
Ее создают в обычном текстовом или специальном редакторе для подготовки HTML-страниц и сохраняют в файле с любым именем и расширением html. Готовый документ можно расположить в любой директории. Сообщать поисковой системе о наличии пользовательской карты не нужно. В процессе индексации сайта поисковый робот найдет ее и проиндексирует все ссылки.
Особенности создания карты HTML:
Используйте форматирование. Выделяйте заголовки, подзаголовки, делайте списки, пометки, выделяйте текст цветом. Картой должно быть удобно и приятно пользоваться, она не должна быть обычной страницей со множеством ссылок, не информирующих пользователя о контенте, на который ведут.
Продумайте структуру и добавьте к каждой ссылке краткое описание. Это упростит пользовательский поиск информации и сделает карту качественной для поисковых систем. Они плохо воспринимают материал со ссылками без текстового или мультимедийного сопровождения.
Добавляйте к ссылкам анкоры. Они будут информировать посетителя о результатах перехода по ним. Такие ссылки способны оказать положительное влияние на траст сетевого ресурса, так поисковики лучше воспринимают линки с анкорами.
После создания пользовательской карты сохраните ее в доступном месте и сделайте на нее заметную ссылку. В отличие от поисковика посетители не станут сканировать весь сайт в поисках удобной навигационной страницы. Поэтому расположите ссылку на видном месте, например в главном меню, выделите ее рамкой, цветом, измените размер шрифта. Чем заметнее она будет, тем лучше. В противном случае усилия, потраченные на ее создание, не принесут пользы.
Которые нужны для поисковых роботов. Кто-то скажет, что она и не нужна, ведь все разделы уже отображаются. Однако необходимость такой страницы существует в том случае, если на сайте содержится пятьдесят страниц и больше. Для поисковиков и для пользователей она будет служить путеводителем, помогающим понять, где содержится та или иная информация.
XML- и HTML-файлы
Так как используется не только для поисковых роботов, но и для пользователей, посещающих сайт, обычно составляют две карты: в XML- и HTML-форматах.
Чтобы создать Sitemap для поисковых роботов, используют XML-файл. Благодаря ему роботы заносят в свою поисковую базу новые При отсутствии карты на многостраничном сайте большое количество страниц может не индексироваться на протяжении иногда очень долгого времени.
Для создания карты сайта для пользователей используется HTML-файл. Важность этой карты заключается в том, что от ее удобства напрямую зависит, найдет ли пользователь интересующую его информацию или нет. Поэтому такую карту создают для тех интернет-проектов, у которых все разделы и их подразделы не помещаются в главном меню.
Как создать Sitemap XML
Существует три способа решения данной задачи:
Покупка генератора для карты сайта.
Создать Sitemap при помощи онлайн-сервисов.
Ручное написание файла.
Для существенной экономии времени предлагается приобретение генераторов. Поэтому если двадцать — тридцать долларов для покупки лицензии являются для веб-мастера мелкой тратой денег, то купить его, особенно для крупного интернет-ресурса, все-таки не помешает, так как не нужно будет тогда создавать сайт вручную.
Для сайта, содержащего несколько сотен страниц, рекомендуются онлайн-сервисы, где для того, чтобы создать Sitemap, необходимо будет лишь указать адрес интернет-ресурса и загрузить результат.
Самым верным вариантом является ручное создание карты. Для этого нужно знать такие теги, как url, urlset, loc, lastmod, changefreg и priority. При этом первые три тега считаются обязательными, а без последних трех можно и обойтись.
Создание Sitemap в Joomla
Чтобы на сайте создать Sitemap, Joomla и Wordpress имеют специальные дополнения, как и большинство известных систем администрирования, благодаря которым карта сайта создается вручную или автоматически. Для крупных интернет-проектов, у которых постоянно обновляются материалы, такое дополнение очень удобно.
В "Джумле" оно называется Xmap, в Wordpress - Google XML Sitemaps.
Автоматическое создание карты сайта
Автоматически создать Sitemap помогают бесплатные онлайн-серверы, если страниц сайта насчитывается не более пятисот. Вот как легко проводится генерация карты сайта:
Зайдя на один из таких интернет-ресурсов, нужно найти пункт «Генерация Sitemap», нажать на кнопку «Создать» и создать файл Sitemap автоматически.
Найти «URL сайта» и ввести там адрес сайта, для которого создается карта.
Возможно, система потребует введение проверочного кода. Его нужно также ввести и нажать «Старт».
Готовую карту загрузить на сайт.
Ручной способ создания карты
Такой способ является, с одной стороны, самым трудным, отнимающим драгоценное время, но с другой стороны, это самый верный способ, применяющийся в тех случаях, когда другие варианты не подходят. Так, например, если есть много страниц, в занесении в карту сайта которых нет особой необходимости, но автоматически они, конечно, туда попадают, ручной способ избавит карту от «передозировки» таких страниц. Другой причиной, по которой выбирают этот способ, является плохая навигация сайта.
Для реализации ручного создания карты необходимо:
Собрать страницы для включения их в карту.
В excel-файл вставить все адреса в третий столбик.
В 1-м и 2-м столбиках вставить и url и loc.
В 4-м и 5-м столбиках вставить закрывающие url и loc.
Применить функцию «сцепить» для соединения пяти столбиков.
В сделать sitemap.xml.
Добавить в этот файл теги и urlset и /urlset.
Вставить между ними соединенный столбик.
Получившийся файл необходимо проверить. Сделать это можно, например, в "Яндексе", в панели веб-мастера.
Как создать Sitemap для "Яндекса" и Google
После создания сайта ее добавляют на сайт. С этой целью файл с картой сайта нужно назвать Sitemap.xml и добавить его в корневую директорию. Чтобы поскорее нашли ее, в Google и "Яндекс" имеются специальные инструменты. Они называются «Инструменты для веб-мастеров» (в Google) и «Яндекс-вебмастер» (в "Яндексе").
Добавление Sitemap в Google
Добавление Sitemap в "Яндекс"
Так же и в «Яндекс-вебмастер» нужно сначала авторизоваться. Потом перейти на индексирование/файлы Sitemap, указать там путь файла и нажать кнопку «Добавить».
Поисковые роботы сегодня возьмут только те файлы, которые содержат не больше пятидесяти тысяч url.
При превышении карты десяти мегабайт лучше разбить ее на несколько файлов. Благодаря этому перегрузки сервера не будет.
Чтобы создать Sitemap xml правильно, при нескольких файлах нужно их всех прописать в файле индекса, используя теги sitemapindex, sitemap, loc и lastmod.
Все страницы нужно прописывать или с префиксом «www» или без его использования.
Необходимая кодировка файла — это UTF8.
Также в файле нужно добавить указание пространства имен языка.
Как создать карту сайта для пользователей
Поскольку такая карта создается для пользователей, она должна быть максимально проста и наглядна. Несмотря на это, необходимо качественно донести всю информацию о структуре используемого сайта.
HTML-карты в основном имеют привычную пользовательскую структуру, состоящую из разделов и подразделов, выделенных определенным образом, например, стилями CSS и графическими элементами.
Чтобы создать Sitemap для крупного интернет-проекта, как и в случае с XML-картой, здесь также рекомендуется разбивание. В этом случае оно осуществляется в виде отдельных вкладок, избавляющих карту от громоздкости.
Повысить функционал страницы позволит язык JavaScript, который в этой карте допускается использовать, так как она создается не для роботов-поисковиков, а для пользователей.
Порядок для файла карты сайта
Желательно, чтобы в созданном файле, содержащем Sitemap, всегда были чистота и порядок, особенно если у сайта имеется большое количество страниц. Поскольку роботы-поисковики просматривают карты сайта очень быстро, для просмотра всего файла крупного интернет-ресурса может просто не хватить времени.
Поэтому если привыкнуть добавлять страницы в карту сайта не внизу, а в верхней ее части, то, с одной стороны, можно не сомневаться, что поисковый робот успеет просмотреть адреса новых страниц, а с другой стороны, таким образом намного легче будет контролировать все страницы.
В этом путеводителе мы рассмотрим следующие вопросы:
Что такое Sitemap ?
Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.
Для чего нужна карта сайта
Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).
HTML vs XML-карта сайта
Карты сайта бывают следующих типов:
- HTML;
Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.
HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.
При составлении HTML-карты сайта важно учитывать:
1. Структурированное содержание.
Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.
2. Анкоры ссылок.
Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.
Обычно Sitemap состоит из следующих XML-тегов:
Обязательные:
Необязательные:
Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.
Другие форматы Sitemap
Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:
Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.
Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.
Требования Google и Яндекса к файлам Sitemap
1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.
4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).
1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.
1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.
Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.
Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.
Как создать XML Sitemap
1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.
2. Определить, какой формат файла будете использовать.
3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.
Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .
Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:
1. Парсим сайт.
2. Переходим в раздел «Сайты» => «Генерировать Sitemap».
3. Сохраняем в нужном нам формате.
4. Карта сайта готова.
Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .
Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.
Исключить ненужные страницы можно и с помощью регулярных выражений.
Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.
Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.
Обязательные:
Необязательные:
Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.
Плюсы добавления XML-тегов для видео:
1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).
Карта сайта для видеофайлов состоит из следующих обязательных элементов:
Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.
Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .
Где разместить карту сайта
Распространённые заблуждения о Sitemap
Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:
– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.
– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.
– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.
Заключение
Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.
Подписаться на рассылкуЧто такое карта сайта
Содержимое любого веб-ресурса рано или поздно будет проиндексировано поисковыми системами. А как сделать так, чтобы этот процесс происходил побыстрее?
Один из наиболее эффективных способов – использование так называемой карты сайта (Sitemap ).
Карта сайта (Sitemap ) – это xml -файл с информацией для поисковых систем о страницах веб-ресурса, которые подлежат индексации. Sitemap помогает поисковикам определить местонахождение объектов веб-ресурса, время их последнего обновления, частоту обновления, приоритетность.
Формат протокола Sitemap состоит из XML -тегов.
В файле необходимо использовать кодировку UTF-8 .
Атрибуты XML -тегов Sitemap
Пример XML -файла Sitemap
(необязательные теги выделены ):
Если ваш сайт содержит много веб-страниц, вы можете опустить необязательные атрибуты (это позволит значительно уменьшить размеры файла Sitemap ):
Использование файлов индекса Sitemap
Файл Sitemap должен содержать не более 50000 URL , при этом его размер не должен превышать 10МБ .
При необходимости файл Sitemap можно сжать с помощью архиватора gzip , чтобы уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL , следует создать несколько файлов Sitemap . При этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap . В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap . Размер этого файла не должен превышать 10МБ .
Как создать карту сайта
Для создания карты сайта можно воспользоваться так называемыми генераторами Sitemap , а можно всё сделать самому:
– откройте Блокнот ;
– соблюдая правила протокола Sitemap , заполните файл Sitemap ;
– в соответствующее текстовое поле введите имя файла (например, sitemap.xml );
– в выпадающем списке Тип файла выберите Все файлы (*.*) ;
– в выпадающем списке Кодировка выберите UTF-8 , нажмите Сохранить ;
– закачайте Sitemap в корневую директорию вашего сайта.
Уведомления для сканеров поисковиков о наличии и месторасположении файла Sitemap
После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о его местонахождении поисковым системам, поддерживающим этот протокол. Это можно сделать следующими способами:
Передача файла Sitemap с помощью веб-интерфейса поисковой системы
Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к справочной системе поисковика.
Например, передать
Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.
Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.
Карта сайта sitemap в формате xml — а оно мне надо
Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.
Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.
На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).
Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.
Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...
На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):
Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.
Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).
Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).
Зачем вообще нужен сайт мап и файл robots.txt
Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.
Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).
Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).
Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.
Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).
А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.
Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.
Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).
В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.
Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.
Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.
Как создать Sitemap.xml самому в Joomla и Вордпрессе
Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.
Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?
Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.
Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:
А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:
Онлайн генераторы Sitemap Generator и XML Sitemaps
Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.
Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator. Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.
Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:
Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.
Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.
Удачи вам! До скорых встреч на страницах блога сайт
Вам может быть интересно
Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Как я увеличил посещаемость на сайте до 300 человек в день?