Главная » ITunes » Тег запрета индексации. Блокировка индексирования при помощи атрибута noindex
Тег запрета индексации. Блокировка индексирования при помощи атрибута noindex
Поисковый робот Яндекса «ходит» по сайтам, просматривает и анализирует их содержимое, после чего сохраняет указатель на текст и изображения в поисковую базу данных Яндекса. Такой процесс называется индексированием. Часть веб-страницы можно закрыть от индексирования, поместив её внутрь элемента
. Тогда при следующем посещении веб-страницы поисковый робот проигнорирует такое содержимое и не станет добавлять его в свою базу данных. Это делается по разным причинам, к примеру, закрытые от индексации ссылки не передают ТИЦ (тематический индекс цитирования).
Важно понимать, что это нестандартный элемент и придуман Яндексом для своих целей. Браузеры никак не поддерживают
и просто выводят его содержимое как обычно.
Если требуется закрыть для поисковиков всю страницу используйте элемент
, добавив его в код HTML:
Или добавьте в файл robots.txt следующую строку:
Disallow: /private.html
Где private.html адрес страницы.
Синтаксис
...
Закрывающий тег
Обязателен.
Атрибуты
Пример
noindex
Данный текст Яндекс не будет индексировать.
Браузеры
В таблице браузеров применяются следующие обозначения.
- элемент полностью поддерживается браузером;
- элемент браузером не воспринимается и игнорируется;
- при работе возможно появление различных ошибок, либо элемент поддерживается с оговорками.
Число указывает версию браузреа, начиная с которой элемент поддерживается.
Noindex - тэг-указатель для поисковых систем (Яндекс и Rambler), предупреждающий, что часть веб-страницы не нужно индексировать.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
В чем отличие между noindex и nofollow
Первое существенное отличие их в том, что первый был виден ранее для Google, а второй - только для Яндекса и Rambler. В настоящее время Яндекс также научился распознавать Ноуфоллоу, который работает только для ссылок, а Ноуиндекс - для любого кода сайта.
Применение Nofollow не превращает ссылку в невидимую, а всего лишь указывает, что по ней не нужно идти и индексировать документ, на который она ведет. Поисковый робот индексирует эту гиперссылку, но вес с сайта не передается, если она ведет на чужой ресурс. Работает этот атрибут для всех поисковиков.
Что касается тега Noindex, то с ним работает только Яндекс. Гугл же просто проигнорирует его. Использовать его нужно в тех случаях, когда вы хотите закрыть какой-то участок страницы - текст, картинку или ссылку - от индексации. Поисковик контент распознает, но впоследствии выкидывает из индекса. Эта мера установлена для полного анализа страницы и процедуры наложения возможных санкций за нарушения.
Для чего нужен Noindex
Закрывается ненужная/неуникальная информация, что улучшает релевантность страницы, потому что увеличивается плотность ключевых фраз, соответствие тематике, уникальность.
Прячутся сквозные блоки и гиперссылки, наличие которых может приводить к пессимизации.
Скрывается личная и служебная информация, если вы не хотите, чтобы она легко находилась через поиск.
Для чего нужен Nofollow
Закрытие лишних веб-ссылок.
Сохранение веса страницы неизменным.
Распределение определенного веса по ссылкам.
Как использовать noindex и nofollow
Тэг Noindex для любого контента применяется так
:
текст, который надо скрыть , и еще
текст.
При работе с Ноиндекс существует вероятность того, что снизится валидность кода, так как данный тэг знает только российский поисковик. Поэтому рекомендуется следующий вариант написания:
.
Весь текст, который надо скрыть.
При этом другие поисковики просто его пропустят, и валидность кода останется неизменной.
Атрибут Nofollow для ссылок применяется
При этом анкор попадает в индекс, но поисковик по веб-ссылке не идет, вес на странице остается.
Если на странице слишком много Нофоллоу, то это может негативно сказаться на лояльности поисковиков.
Совместное использование
Для того чтобы закрыть и текстовую часть, и гиперссылку, следует придерживаться такого написания:
Весь текст, который надо скрыть анкор , и еще текст
Варианты правильного использования Noindex и Nofollow для запрета индексации документа в целом
Тег и атрибут, все время ходят “за ручку”, и часто их применяют вместе. Они могут применяться в meta name=robots документа для указания рекомендаций по его индексации и переходу по веб-ссылкам. Указание на запрет индексации необходимо, если обнаружены дубли страниц, Или в сети появилась конфиденциальная или устаревшая информация, а другим способом страницы убрать нельзя.
В случае, если вы хотите закрыть всю страницу от индексации и запретить учет располагающихся на ней ссылок, необходимо указать в метаданных страницы - следующее:
Ноуиндекс создает команду Яндексу не индексировать контент на странице, но робот ходит по ее веб-ссылкам. Поэтому дополнительный Ноуфоллоу указывает по ним на не ходить. Данное указание воспринимают как Яндекс, так и Google.
Что касается удаления документа из индекса Google, то поисковиком предусмотрен альтернативный метод: запись X-Robots-Tag: noindex, nofollow. Данное указание закрепляется в http-заголовках, не видимых в коде страницы.
Рассказываем о разнице между Nofollow и Noindex, как их правильно использовать для ссылок и скрытия контента на сайте.
Всегда следите за наличием рассмотренных в статье тегов и атрибутов в нужных местах, чтобы получать именно тот результат, которого вы ожидаете.
В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег , атрибут rel=”nofollow” и мета-тег . В этой статье мы подробно разберемся с их определениями и предназначениями.
Что такое тег
... – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.
Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.
Что такое атрибут rel=”nofollow”
rel=”nofollow”
– значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.
Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.
Тег noindex и атрибут rel=“nofollow”
Тег для ссылок
Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:
для ссылок
текст ссылки
Тег для контента
Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:
Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.
rel=”nofollow” для ссылок
Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:
rel=”nofollow”
текст ссылки
Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок . Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:
Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.
Нужно ли использовать rel=”nofollow” для внутренних ссылок
Как использовать совместно тег и rel=”nofollow”
Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:
"совместно
текст ссылки
Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь >.
Мета-тег
Этот мета-тег устанавливается в секцию
на той странице, которая не должна индексироваться и выглядит это следующим образом:
Мета-тег
…
...
<
head
>
<
meta
name
=
"robots"
content
=
"noindex, nofollow"
/
>
.
.
.
<
/
head
>
Суть значений noindex и nofollow в мета-теге остается та же:
Noindex
– запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.
– запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).
Комбинации
Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:
нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
– запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
– разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
- разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
- делает то же самое - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно
Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google .
Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс .
Как сочетать meta name="robots" с robots.txt и в чем принципиальная разница
Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt
. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:
Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.
Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:
Поэтому для непроиндексированных страниц можно использовать любой из вариантов.
Если же страница уже была проиндексирована, рекомендуется установить в секцию
мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.
Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO . Примерно вот так это выглядит:
Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:
Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):
И использование мета-тега :
Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.
‘Noindex’.
Предназначение тега является возможность закрыть от индексации поисковыми роботами нежелательные ссылки. В файле robots.txt можно закрыть от индексации только целые страницы или блоки, а как быть в том случае, если необходимо “спрятать” только одну-две ссылки со страницы, причем остальные оставить открытыми для поисковых роботов. В этом случае и приходят на помощь тег .
Тег был введен поисковой системой Yandex и, надо отметить, распознается и поддерживается только ей и Рамблером, о последнем, как о мертвецах, либо только хорошее, либо – ничего. Другие поисковые системы этот тег упрямо игнорируют.
Если вы захотите исключить передачу веса ссылки абсолютно для всех поисковых систем, не прописывая запреты в файле robots.txt, то вам придется воспользоваться как тегом , так и атрибутом ’nofollow’: