Файл robots.txt — это файл, в котором содержатся инструкции для поисковых роботов. При его помощи можно определить какие страницы будут индексироваться, а какие нет. Однако существует еще один способ запретить индексацию страниц: при помощи мета-тега «ROBOTS» в заголовке страниц. Этот тег имеет атрибут CONTENT, значениями которого могут быть index (индексировать) или noindex (не индексировать).
Следует внимательно относиться к расстановке noindex, так как в этом случае могут получиться не проиндексированными очень важные страницы.
Например, если в теге прописать код , то поисковый робот не будет иметь к ней доступ к ней, а также страница не будет участвовать в ранжировании.
При самостоятельной раскрутке сайтов встречаются случаи, когда все необходимые для индексации параметры в файле robots.txt указаны, но страница не индексируется. В этом случае необходимо проверить на ней мета-теги «robots». Эту операцию можно осуществить двумя способами: вручную или при помощи Яндекс.Вебмастер, где в разделе «Исключенные страницы» должна быть указана категория «Документ содержит мета-тег noindex».
Тег очень удобен в случае когда существует необходимость запретить индексацию отдельных фрагментов кода страницы. Выглядит он следующим образом: Контент .
Однако, используя этот тег надо знать меру, так как поисковые системы будут видеть несвязный текст или отсутствие текста, и такая страница будет считаться спамной.
Дата публикации: 19.10.2012, 23:09