-
meta-tegi.ru

Мета-тег Robots

Мета-тег Robots, в отличие от распространённых Title, Description и Keywords, не описывает страницу сайта. Он предназначен для выдачи указаний поисковым роботам о том, нужно ли индексировать страницу и/или переходить по её ссылкам.

Синтаксис Robots

Мета-тег Robots, как и любой другой, должен быть находиться в области HEAD страницы HTML. Синтаксис мета-тега имеет вид <meta name="Robots" content="...">. В поле content можно прописать одну или две из 6 инструкций:

  • index – разрешение индексации;
  • noindex – запрет индексации;
  • follow – разрешение перехода по ссылкам;
  • nofollow – запрет перехода по ссылкам;
  • all – разрешение индикации и перехода;
  • none – запрет индикации и перехода.

Значения index/noindex относятся к тесту страницы, а follow/nofollow – к ссылкам на ней. Две набранные инструкции должны разделяться запятой. Наименования тега и полей нечувствительны к регистру клавиатуры.

Примеры использования мета-тега Robots:

Синтаксис вида <meta name="robots" content="index, nofollow"> разрешает индексацию, но запрещает переход по ссылкам. Этот вариант целесообразен при наличии на странице множества ссылок на другие сайты. Запрет на переход может быть нужен для предотвращения продолжительного переключения робота на другие сайты по приведённым ссылкам. Начальная страница при этом остаётся недоиндексированной, что негативно влияет на её поисковое продвижение.

Синтаксис <meta name="robots" content="noindex, follow"> удобен в ситуации, когда нужно разрешить переход на важные ссылки. Поскольку большое число внешних ссылок не нравится поисковым системам, то для предотвращения компрометации страницы следует запретить её индексацию.

Синтаксис <meta name="robots" content="noindex,nofollow"> полезен при наличии на сайте конфиденциальных данных. Другой вариант – нахождение на сайте, вперемешку с обычным контентом, принципиально неуникальной информации, например, законодательных актов. В обоих случаях такую информацию не следует добавлять в базу данных поискового робота.

Инструкция all равносильна совокупности инструкций index,follow. Инструкция none – то же, что и noindex,nofollow. Если мета-тега Robots в документе нет, то это означает разрешение как индексации, так и перехода (то есть по умолчанию <meta name="Robots" content="all">).

Директивы управления, аналогичные мета-тегу Robots, можно прописать и в файле robots.txt. Последний не всегда можно добавить на сервер (например, из-за ограничений арендуемого хостинга). При одновременном использовании мета-тег приоритетен по отношению к файлу robots.txt.

Читайте также:

Мета-тег Title
Мета-тег Description
Мета-тег Keywords
Мета-тег Viewport