10 способов подружиться с Google-ботом

By Simple | Авг 29, 2008

Конкурс с призовым фондом 2500$!
Главный спонсор блога: Главмед. Главный фарма-конвертатор.
Акция для подписчиков блога

Спонсор месяца: Satellitpro.ru - профессиональное создание сателлитов и не только!

Продолжение серии статей, посвященной оптимизации сайта под поисковые системы.

Постоянные и частые визиты краулера - это первый признак того, что Google любит Ваш сайт. Следовательно, наиболее эффективный способ добиться частых и глубоких визитов краулера - это разработать вебсайт, который поисковики посчитают важным и ценным.

Обратите внимание, что Вы не сможете заставить силой Гуглбота посещать сайта. Вы можете только пригласить его.

Способы повышения скорости сканирования Вашего сайта:

Обновляйте контент часто и постоянно (и пингуйте Гугл каждый раз). Это основной метод. Попробуйте публиковать уникальный контент так часто, как Вы можете или, что наиболее правильно, подберите свой темп. Я, например, стараюсь публиковать 3 раза в неделю, но получается обычно больше. В то время, как ранее, публиковал по 5 постов или более, но от этого страдало качество контента. Короче, подберите свой оптимальный темп.
Удостовертесь, что Ваш сервер работает правильно: проверьте аптайм и нетронутые страницы с помощью Google Webmaster tools. Еще можно использовать Pingdom and Mon.itor.us.
Проверьте время загрузки страниц:обратите внимание, что краулер работает на Вашем сайте ограниченное количество времени и, если он будет грузить большие pdf-ники или слишком медленные страницы, ему не останется времени на другую часть сайта.
Проанализируйте внутреннюю структуру сайта: убедитесь, что нет дублированного контента доступного по нескольким урлам, т.к. время пребывания бота на сайте ограничено.
Добывайте беклинки с хорошо индексируемых сайтов.
Управляйте скоростью индексирования из панели вебмастеров Google.
Добавьте карту сайта (спорная тема, многие вебмастера считают, что это ускоряет индексацию сайта).
Убедитесь, что сервер возвращает правильный хедер. Правильные ли страницы ошибок? Не дайте боту уйти не смотря ни на что!
Убедитесь, что у каждой страницы уникальный title и meta теги.
Наблюдайте за скоростью сканировани и смотрите, что работает, а что нет.