На блоге у Matt Cutts только что нашел ссылку на довольно неплохое исследование о том, как поисковые системы обновляют свои базы данных.

Признаюсь, сам пока статью не читал (нет времени), а просто пробежался по тексту, т.е. даже и ревью не могу сделать, но однозначно, статья стоит того, чтобы ее прочитать.

Переведу пока только аннотацию:

Это исследование измеряет частоту, с которой поисковые системы обновляют свои индексы. 38 сайтов, обновляемых ежедневно, анализировались на протяжении 6 недель. Поисковые системы, которые анализировались, — это Google, Yahoo, MSN. Мы обнаружили, что в целом Google функционирует лучше и обновляет наибольшее количество страниц ежедневно, но только MSN может обновить все страницы за период менее 20 дней. Оба других поисковика имеют выбросы (резко выделяющиеся значения экспериментальных величин. — примечание SEOBlog.biz), которые несколько старше. В плане стилей индексирования мы обнаружили различные подходы для разных поисковых систем: тогда как MSN иллюстрирует четки стиль обновления, Google имеет некоторые выбросы, а процесс обновления у Yahoo вообще выглядит довольно хаотическим. В следствие этого качество индексов разных поисковых систем отличается, и для поиска не следует пользоваться только одной поисковой системой.

Прямая ссылка на статью (в pdf-формате) The Freshness of Web search engines’ databases (618 Кб).