Библиотека Интернет Индустрии I2R.ru

В корпоративном блоге Яндекса появилось сообщение, что на днях был запущен "быстрый" робот, который работает одновременно с основным и предназначен для оперативного обнаружения и индексации актуальных страниц.

Используя 4 источника информации о востребованных пользователями документах, быстрый робот находит новые и измененные страницы, делая их доступными для поиска уже через несколько часов после обнаружения.

База быстрого робота обновляется каждые 1,5-2 часа, а время от момента скачивания документа до момента его появления на поиске составляет от 2 до 5 часов. На сегодняшний день база быстрого робота насчитывает около 4 миллионов документов.

На выдаче результаты из быстрого робота отличаются от основных наличием поясняющей надписи о том, как давно была проиндексирована последняя версия документа (столько-то часов назад, вчера, позавчера).

Страницы быстрого робота особенно хорошо заметны при сортировке результатов поиска по дате.

Это сообщение опубликовал в блоге Яндекса Александр Авдонкин, программист отдела разработки поисковых сервисов.

Материалы по теме:

• Cтруктура страниц при проведении поисковой оптимизации сайта
• Кто первый найдется в Интернете, тот первый продастся на рынке
• Yandex ludens
• Слово в защиту Яндекса