Структуры ссылок, по которым могут ползать пауки

Как мы указывали в главе 2, поисковые движки используют ссылки, расположенные на web-страницах, чтобы найти другие web-страницы и web-сайты. По этой причине разработчикам web-сайтов следует потратить время и построить такую структуру ссылок, по которой легко сможет проползти паук. Многие сайты делают критическую ошибку – они прячут или затемняют свою навигацию такими способами, которые затрудняют работу пауков, тем самым не позволяя им включать эти страницы в индексы движков поиска. Посмотрите рис. 6.1, на котором показано, как может возникнуть эта проблема.

Рис. 6.1. Обеспечение поисковых движков такими структурами ссылок, по которым могут ползать пауки

Паук движка Google достиг страницы А и видит ссылки на страницы В и Е. Однако несмотря на то, что страницы C и D могут быть весьма важными, у паука нет способа добраться до них (и даже узнать о том, что они существуют), поскольку на эти страницы не указывает ни одна прямая ссылка, по которой можно было бы проползти.

Для Google эти страницы не существуют вовсе. Отличный контент, хорошее целевое использование ключевых слов и умный маркетинг совершенно не имеют значения, если паук не может даже добраться до этих страниц.

Чтобы напомнить вам состоявшееся в главе 2 обсуждение, мы приведем основные причины того, почему страницы могут быть недосягаемыми.

• Ссылки в виде форм.

Поисковые пауки не будут даже пытаться заполнять формы, поэтому весь контент (или ссылки), который доступен только через форму, является невидимым для пауков. Это справедливо даже по отношению к простым формам (таким, как регистрация пользователей, поля поиска, некоторые типы выпадающих списков).

• Ссылки в неподдающемся разбору коде JavaScript.

Если вы используете для ссылок JavaScript, то увидите, что поисковые движки либо не просматривают встроенные в них ссылки, либо дают этим ссылкам очень маленький вес.

• Ссылки внутри Flash, Java и других дополнительных модулей.

Встроенные в Java и дополнительные модули ссылки поисковым движкам невидимы. Поисковые движки делают успехи в области обнаружения ссылок внутри Flash, но не слишком на это надейтесь.

• Ссылки в файлах PowerPoint и PDF.

Файлы PowerPoint и PDF ничем не отличаются от Flash, Java и дополнительных модулей. Поисковые движки иногда сообщают о ссылках внутри файлов PowerPoint и PDF, но какой вес они получают, узнать нелегко.

• Ссылки на страницы, блокированные при помощи метатега Robots, rel="NoFollow", или файла robots. txt.

Файл robots. txt представляет собой очень простое средство для предотвращения просмотра пауками страниц вашего сайта. Использование атрибута NoFollow для ссылки или размещение на странице с ссылкой тега Robots является указанием для поискового движка не передавать ссылочный "сок" по этой ссылке (эту концепцию мы рассмотрим далее в разд. "Поставка контента и управление поисковыми пауками”этой главы).

• Ссылки на страницах со многими сотнями и тысячами ссылок.

Компания Google предложила использовать не более 100 ссылок на странице, поскольку паук может прекратить просмотр остальных ссылок этой страницы. Этот "предел" имеет некоторую гибкость и особенно важные страницы могут иметь до 150 и даже 200 отслеживаемых ссылок. Однако в общем случае будет разумно ограничить количество ссылок на странице до 100, в противном случае вы рискуете потерять возможность просмотра пауками всех тех страниц, которые выходят за это предельное значение.

• Ссылки в фреймах или i-фреймах.

Технически ссылки во фреймах и i-фреймах просмотреть можно, но они представляют собой структурные проблемы для движков поиска в плане организации и отслеживания. Если вы не являетесь квалифицированным пользователем, который хорошо понимает, как поисковые движки индексируют и двигаются по ссылкам во фреймах, то лучше не использовать их в качестве места размещения ссылок для просмотра. Мы будем обсуждать фреймы и i-фреймы более подробно в разд. "Создание оптимальной информационной архитектуры” этой главы.

Дата добавления: 2015-10-13