тематический указатель:
индексация
поисковые
поисковые системы
Назад (Доступные методики исследований при выборе ключевых слов) Вперёд (robots.txt: стандарт, расширения, аспекты применения)

robots.txt: стандарт, расширения, аспекты применения

robots.txt: стандарт, расширения, аспекты применения

Управление индексацией сайта с помощью robots.txt. Зачем запрещать индесацию. Синтаксис robots.txt. Примеры использования

Владимир Чернышов,

Информационно-аналитический центр “Лига” Robots.txt – маленький текстовый файл, способный остановить самых больших роботов. С помощью нескольких простых правил, записанных в обычном текстовой файле, вебмастер может запретить доступ поисковым роботам к отдельным документам, части сайта или сайту полностью.

Для чего запрещают индексацию

Для чего запрещать роботам поисковых систем индексировать сайт, ведь во многих случаях увеличение количества проиндексированных страниц должно влиять на увеличение поискового трафика по низкочастотным запросам? На самом деле на низкочастотный трафик влияет количество проиндексированных информативных страниц. А есть еще страницы малоинформативные, служебные, те или иные дубликаты информативных страниц, обработчики форм, наконец. Как раз такие страницы, не несущие информационной нагрузки не следует отдавать поисковой системе. Рассмотрим наиболее часто встречающиеся примеры неинформативных страниц.

Версии для печати

Версии страниц для печати создаются для удобства распечатки и не содержат «дополнительных» элементов дизайна страницы, как например второстепенных текстовых блоков, баннеров, счетчиков. Но фактически, страницы для печати являются дубликатами основной версии страницы. Из-за особенностей верстки такие страницы могут посчитаться более релевантными, чем основные версии, что не всегда хорошо. Версии для печати в большинстве случаев рекомендуется закрывать от индексации, в особенности на сайтах с большим количеством страниц.

Страницы с формами регистрации

Страницы с формами регистрации, аутентификации, анкетами пользователя также в большинстве случаев не являются информативными страницами. Их следует закрывать от индексации, особенно если таких страниц достаточно много на сайте. Профили пользователей на форумах

Страницы с профилями пользователей на форумах, списки пользователей стоит закрывать от индексации. Они могут быть достаточно информативными, но в то же время при большом количестве пользователей на форуме таких страниц можно насчитать тысячи, а иногда и десятки тысяч для крупных форумов. Кроме этого, форумы являются одним из целей поискового спама, а запрещение индексации может несколько снизить объемы этого спама. Страницы корзины товара в интернет-магазинах

В ряде интернет-магазинов корзина товара реализована таким образом, что является обычной ссылкой, причем адрес ссылки разный для разных товаров. В этом случае корзина товара может попасть в индекс поисковой системы столько раз, сколько товаров есть в магазине, хотя сама страница не отличается особой информативностью.

Страницы различных вариантов сортировки списков

Если существует список ссылок, например на темы форума, то часто делают возможность отсортировать список по разным параметрам: дате сообщения в порядке убывания и возрастания, по теме сообщения, по автору и т.д. Если же список длинный и разбивается на страницы, то комбинаций различных вариантов сортировок для всех страниц списка может быть очень и очень много, хотя поисковой системе достаточно одного варианта сортировки для всех страниц списка.

В общем случае даже различный порядок параметров в адресе скрипта может увеличить потенциальное количество страниц для индексации в несколько раз. Страницы с идентификаторами сессий

Идентификаторы сессий в адресе страницы являются большой проблемой для поисковых систем, поскольку робот находит огромное количество адресов одной и той же страницы с разными идентификаторами сессий. Если вопрос с идентификаторами сессий не удается решить в рамках системы управления сайтом, можно попытаться закрыть такие страницы от индексации.

Назад (Доступные методики исследований при выборе ключевых слов) Вперёд (robots.txt: стандарт, расширения, аспекты применения)
Связаться с нами: info@internet-marketing-theory.ru