Библиотека Интернет Индустрии I2R.ru |
|||
|
Елена Колмановская о "быстром" "Яндексе"17.08.2005 15:51 Главный редактор "Яндекса" Елена Колмановская комментирует статью, посвященную запуску "быстрого" робота "Яндекса", индексирующего определенную часть Рунета. Как удалось увеличить скорость индексирования? База быстрого робота — это менее 1% всей базы, поэтому процесс обхода документов и выкладывания может происходить заметно чаще без существенного увеличения нагрузки. Выборка из быстрой базы делается одновременно с выборкой из медленной? Да. В момент запроса метапоиск обращается как к основным поисковым машинам, так и к машинам с базой быстрого робота. Основную базу некорректно называть "медленной", ее обновление происходит каждые 2–3 дня. Пришлось ли ради этого увеличивать серверный парк? Мы добавили десяток серверов к примерно пяти сотням, на которых работал поиск и робот. Насколько возросла нагрузка на сервера? "Быстрая база" расположена на отдельных серверах. Планируется ли в дальнейшем увеличивать скорость? Возможно, но скорость выкладывания не является самоцелью. Работа над быстрым роботом подразумевает: обнаружение актуальных документов; оперативную индексацию и выкладывание; правильное ранжирование. Все три составляющие важны для пользователей. Сейчас в вашей базе находится почти 800 млн документов. Если учесть все факторы, можно сказать примерно, когда ее размер достигнет миллиарда? Когда на главной странице "Яндекса" будет написано "Поиск по 1 000 000 000 документов Рунета". :) И еще — мне кажется, что в этой статье допущена ошибка. А именно — прочтя ее, остаешься под впечатлением, что "Яндекс" априори назначил какие-то сервера актуальными и включил их в быструю базу. На самом деле так не происходит, включение в базу идет постранично и динамично, поэтому состав страниц (и сайтов, с которых они взяты) постоянно обновляется. Материалы по теме: последние новости 23.08.2006 20:52 | Организуется первая всероссийская конференция веб-разработчиков...» 23.08.2006 20:44 | Украинские новостные сайты ругаются как малые дети...» 23.08.2006 19:44 | Google приглашает подписываться на Writely...» 23.08.2006 12:43 | Mail.Ru открывает справочное бюро...» 23.08.2006 12:27 | Yahoo борется с поддельными сайтами...» 22.08.2006 19:52 | Правило одного процента...» 22.08.2006 11:57 | Пользователи Сети охладели к играм и анекдотам...» 21.08.2006 22:08 | Вдохновение для WEB-дизайнеров...» 20.08.2006 09:37 | Технологии Flash исполнилось десять лет...» 19.08.2006 20:18 | Браузеры: Вышла версия Яндекс.Бар для браузера Firefox...» 19.08.2006 17:31 | Как выбрать компанию для продвижения сайта в Интернет...» 19.08.2006 17:23 | Сайты Рунета не попали в список "крутых"...» 16.08.2006 20:18 | Google предупреждает об "опасных" сайтах...» 16.08.2006 19:42 | Компания Google приглашает...» 16.08.2006 19:29 | Стандарт векторной графики для мобильных устройств...» 16.08.2006 19:07 | Рассылка, зачем она нужна и как ее организовать?...» 16.08.2006 14:45 | Google запрещает «гуглить»...» 16.08.2006 14:04 | Рекламодатели требуют от сайтов улучшить отчетность ...» 16.08.2006 13:56 | Зачем ИТ-директору знать Web 2.0? ...» 16.08.2006 08:49 | Три цвета...» |
|
2000-2008 г. Все авторские права соблюдены. |
|