Указания по дружественной к поиску навигации

Несмотря на то, что пауки поисковых движков с течением времени становятся все более совершенными, основные их допущения и цели остаются прежними: пауки находят web-страницы по ссылкам и записывают контент найденных ими страниц в индекс поискового движка (это гигантский репозитарий данных о web-сайтах и страницах).

Кроме необходимости избегать описанных ранее технологий, для разработки дружественной к поисковым движкам навигации есть некоторые дополнительные указания. Рассмотрим их.

• Реализуйте структуру навигации на основе текстовых ссылок.

Если вы решили создать навигацию при помощи Flash, JavaScript или других технологий, то не забудьте предоставить альтернативные текстовые ссылки в виде HTML для пауков, чтобы эти автоматизированные роботы (а также и те пользователи, у которых в браузере нет дополнительных модулей) могли добраться до ваших страниц.

• Помните о "ловушках для пауков".

Даже очень грамотно запрограммированные пауки поисковых движков могут потеряться в бесконечных петлях ссылок, которые имеются между страницами сайта. Разумно спроектированная архитектура, где отсутствуют зацикливания кодов 301 и 302 сервера, должна свести эту проблему на нет. Но иногда календарные ссылки, бесконечное разбиение на страницы, а также огромное количество способов, которыми можно получить доступ к контенту, все это создает десятки тысяч страниц для пауков поисковых движков (в то время как вы хотели иметь только несколько десятков страниц контента). Вы можете прочитать более подробно о точке зрения компании Google на эту проблему по адресу http://googlewebmastercentral.blogspot.com/2008/08/to-infinity-and-beyond-no.html.

• Следите за идентификаторами сеансов и куки-файлами.

Если вы ограничите способность пользователя просматривать страницы или делать редиректы (при помощи куки-файлов или идентификаторов сеанса), то поисковые движки, возможно, не смогут просмотреть ваш контент. Роботы не используют куки-файлы, они не работают также и с идентификаторами сеансов (каждый визит паука получает URL с другим идентификатором сеанса и поисковый движок видит такие URL как разные URL). Несмотря на то, что ограничение предоставления форм – это хорошо (поскольку пауки не могут представлять формы), ограничение доступа к контенту при помощи куки-файлов и идентификаторов сеансов – это плохая идея. Разрешает ли Google указывать параметры в URL? Yahoo! разрешает. Вы можете прочитать об этом более подробно на сайте seroundtable.com (http://www.seroundtable.com/).

• Сервер, хостинг и проблемы с IP.

Проблемы с сервером редко вызывают трудности с ранжированием поисковыми движками, но когда это происходит, то последствия могут быть весьма серьезными. Движки поиска знают о том, что у серверов бывают стандартные проблемы (такие, как выключение или перегрузка), они будут истолковывать имеющиеся у них сомнения в вашу пользу (хотя ваш контент, конечно же, не сможет быть просмотрен при неработающем сервере).

В некоторых случаях источником проблем может быть IP-адрес вашего хоста. Если этот IP когда-то принадлежал спамерскому сайту, то поисковые движки могут хранить о нем отрицательные воспоминания, которые плохо повлияют на работу пауков и ранжирование. Поисковые движки не особенно привередливы в отношении совместного хостинга или серверных платформ, но вам следует быть осторожными и найти такой хост, которому доверяете.

Поисковые движки стали проявлять некоторую "паранойю" относительно определенных доменов, хостинговых проблем, адресов IP и блоков адресов IP. Опыт подсказывает движкам, что многие из этих объектов имеют сильную корреляцию со спамом, поэтому удаление их из индекса может дать пользователям большую пользу. Вы (как владелец сайта, который такими вещами не занимается) должны исследовать свой web-хост заранее (чтобы не приобрести проблемы).

Подробнее о проблемах с серверами и хостингом изложено в разд. "Определение текущей статистики сервера и получение доступа" главы 4.

Дата добавления: 2015-10-13