Постоянные и частые визиты краулера - это первый признак того, что Google любит Ваш сайт. Следовательно, наиболее эффективный способ добиться частых и глубоких визитов краулера - это разработать вебсайт, который поисковики посчитают важным и ценным.
Обратите внимание, что Вы не сможете заставить силой Гуглбота посещать сайта. Вы можете только пригласить его.
Способы повышения скорости сканирования Вашего сайта:
Обновляйте контент часто и постоянно (и пингуйте Гугл каждый раз). Это основной метод. Попробуйте публиковать уникальный контент так часто, как Вы можете или, что наиболее правильно, подберите свой темп. Я, например, стараюсь публиковать 3 раза в неделю, но получается обычно больше. В то время, как ранее, публиковал по 5 постов или более, но от этого страдало качество контента. Короче, подберите свой оптимальный темп.
Удостовертесь, что Ваш сервер работает правильно: проверьте аптайм и нетронутые страницы с помощью Google Webmaster tools. Еще можно использовать Pingdom and Mon.itor.us.
Проверьте время загрузки страниц:обратите внимание, что краулер работает на Вашем сайте ограниченное количество времени и, если он будет грузить большие pdf-ники или слишком медленные страницы, ему не останется времени на другую часть сайта.
Проанализируйте внутреннюю структуру сайта: убедитесь, что нет дублированного контента доступного по нескольким урлам, т.к. время пребывания бота на сайте ограничено.
Добывайте беклинки с хорошо индексируемых сайтов.
Управляйте скоростью индексирования из панели вебмастеров Google.
Добавьте карту сайта (спорная тема, многие вебмастера считают, что это ускоряет индексацию сайта).
Убедитесь, что сервер возвращает правильный хедер. Правильные ли страницы ошибок? Не дайте боту уйти не смотря ни на что!
Убедитесь, что у каждой страницы уникальный title и meta теги.
Наблюдайте за скоростью сканировани и смотрите, что работает, а что нет.
августа 29, 2008 14:46
>>(и пингуйте Гугл каждый раз)
это как? у гугла есть пинг?
августа 29, 2008 15:39
money-hunter, я пингую через rpc.pingomatic.com
августа 29, 2008 15:40
И посты после этого в гугле довольно быстро появляються
августа 29, 2008 18:59
Блог в гугле пинговать… а почему не http://blogsearch.google.com/ping
августа 29, 2008 19:21
>money-hunter, я пингую через rpc.pingomatic.com
не открыветься…
напишите пожалуйста подробнее.
августа 30, 2008 11:42
Sergey, его открывать и не надо. Этот rpc.pingomatic.com пингуем, а если заходить, то на pingomatic.com.
Rybakow, зайди на пингоматик и поймешь
августа 30, 2008 18:13
Я бы еще добавил пункт, что нужны ссылки вглубь сайта с морды и побольше узловых страниц и ссылки на них с морды.
Узловые страницы - это страницы со ссылками на внутренние страницы.
Чтобы операция прошла успешно, ставьте ссылки на узловые страницы.
http://www.profithunter.ru/optimizaciya/bystroe-indeksirovanie-krupnyx-sajtov/
августа 30, 2008 20:09
Карта сайта помогает реально! Яша, например, не хотел индексировать сайт пока я не скормил ему карту сайта. Да и Google стал заходить регулярно.