Анализ трафика роботов поисковых движков

Специалист по оптимизации должен хорошо понимать, как роботы просматривают сайты. Во-первых, частота просмотра говорит о том, какие страницы вашего сайта имеют самый высокий рейтинг PageRank и доверие, поскольку Google просматривает Интернет по рейтингу PageRank в обратном порядке. Она может также помочь вам выявить проблемы просмотра вашего сайта.

Вы можете использовать обсуждаемые в этом разделе инструменты для того, чтобы искать потенциальные проблемы просмотра и чтобы анализировать, насколько важным считают ваш контент поисковые движки. Вам следует искать признаки проблем с оптимизацией, такие как блокировка пауков содержимым файла robots.txt, архитектурные проблемы, или даже признаки наличия штрафа (который можно выявить по падению частоты просмотра).

Однако важно понимать, что эти данные скажут вам не все. Например, тот факт, что web-страница была просмотрена роботом, не означает того, что она попадет в индекс. Чтобы попасть в индекс, страница должна пройти некоторые дополнительные тесты (такие, как наличие уникального контента и достаточного количества ссылок).

Для проиндексированных страниц вы можете посмотреть, как часто пауки посещают ваши страницы и сравнить с тем, как часто поисковый движок показывает новые версии вашей страницы в индексе. Для этого посмотрите на последнюю дату кэшированной страницы и сравните ее с вашими данными по просмотру.

В число инструментов для анализа журналов входят: Webtrends (http://www.webtrends.com), Affinium Netlnsight (http://netinsight.unica.com/) компании Unica и HQ Web Analytics (http://www.lyris.com/solutions/lyris-hq/web-analytics/) компании Lyris. Это хорошо известные пакеты web-аналитики, которые предлагают функцию анализа журналов. На рис. 9.41 показан моментальный снимок отчета робота из NetInsight.

Рис. 9.41. Отчет робота из NetInsight

Дата добавления: 2015-10-13