Выявление такого контента, который не виден поисковым движкам

Как же выявить те случаи, когда это происходит? Иногда такая ситуация очевидна. Например, если у вас имеется сайт, который принимает большой объем трафика, а потом ваш разработчик случайно поставит атрибут NoIndex на всех страницах сайта, после чего вы увидите катастрофическое падение трафика. После этого, скорее всего, начнется паническое расследование, которое приведет к выявлению виновника – атрибута NoIndex.

Неужели такое действительно случается? К сожалению, да. Вот примерный сценарий. Вы работаете над обновлением сайта на вспомогательном сервере. Поскольку вы не хотите, чтобы поисковые движки обнаружили эту дублированную версию вашего сайта, то все страницы вспомогательного сервера имеют атрибут NoIndex. Затем кто-то переносит сайт со вспомогательного сервера на рабочий сервер и забывает при этом убрать теги NoIndex. Это обычная ошибка оператора.

Такая же проблема может возникнуть и в другом сценарии. Некоторые web-мастера реализуют файл robots.txt, который запрещает просмотр web-сайта вспомогательного сервера. Если этот файл будет скопирован при переносе вспомогательного сервера на рабочий сервер, то последствия будут такими же плохими, как и в только что описанном сценарии с атрибутом NoIndex.

Лучший способ предотвратить такой сценарий – это реализовать последовательность проверок, которая выполняется немедленно после каждого обновления рабочего сервера.

Однако существуют такие потенциальные проблемы, которые обнаружить гораздо труднее. Во-первых, при запуске нового сайта у вас не будет вообще никакого трафика, т. е. не будет и падения трафика, по которому можно понять, что имеются проблемы. Может быть и такой случай, когда на уже существующем сайте вы случайно сделаете что-то такое, что скроет от поисковых движков только часть сайта (так что проблема не столь очевидна).

Вне зависимости от вашей ситуации, помочь в выявлении проблем может web-аналитика. Используйте свое аналитическое программное обеспечение для того, чтобы найти те страницы вашего сайта, которые дают просмотры, но не получают поискового трафика. Само по себе это ничего не значит, но является подсказкой, которая показывает, откуда начать. Обратите внимание, что обратная ситуация интересна для другого сценария, когда вы видите нечто, что имеет ссылки из поиска, а вы этого не хотите. И в этом случае, возможно, вы захотите скрыть такой контент.

Рисунок 10.2 из инструмента GravityStream (http://www.gravitystream.com) компании Netconcepts показывает страницы, отсортированные по активности паука, не получающие поискового трафика в течение указанного времени. Отчет помогает выявить самые легко достижимые (для специалиста по поисковой оптимизации) цели. При полном отсутствии операций поиска можно только прогрессировать вверх. Более того, повышенный интерес со стороны робота Googlebot означает более высокую важность/доверие/авторитет и потенциально более высокий рейтинг после оптимизации страницы.

Рис. 10.2. Отчет из GravityStream, показывающий страницы без поискового трафика

Можно изучить также и такой показатель, как количество проиндексированных на вашем сайте страниц. В случае нового сайта вы сможете понять, видят ли поисковые движки ваш контент. Например, если у вас имеется сайт с 1 000 страницами и с хорошим профилем входящих ссылок, а по прошествии трех месяцев будет проиндексировано только 10 страниц, то это может говорить о наличии проблемы.

Нужно быть осмотрительными и не слишком остро реагировать на количество проиндексированных страниц, поскольку выдаваемые поисковыми движками числа обычно сильно колеблются. Но если вы имеете представление о порядке этого числа для вашего сайта, а число вдруг падает до необычно низкого значения и не поднимается (или продолжает падать), то у вас, вероятно, есть проблема.

Дата добавления: 2015-10-13