Дата публикации: Четверг, Май 22nd, 2008; 18:39. Разделы: Разное, Основы оптимизации, Интервью, Переводы. Вы можете подписаться на ленту комментариев к этой записи: RSS 2.0. Вы можете оставить комментарий к этой записи.
На официальном блоге Google вчера была опубликована статья Уди Менбера (Udi Manber) вице-президента Google Engineering и главы Search Quality. Это статья человека, который работает в компании 2 года, а собственно поисковыми технологиями по его же словами занимается уже 20 лет. Так что, в чем-то он да разбирается.
Статья представляет собой краткий, но достаточно информативный очерк, о том чем занимается Google, кто там за что отвечает и что делает, о технологиях и принцыпах работы, в общем обо всем, что делает Google самым популярным, самым удобным, самым быстрым, в общем самым-самым… поисковиком в мире. Америку нам Уди Менбер, вряд ли, открыл, но читать все равно интересно. Поэтому, собственно говоря, я и перевел наиболее интересные, на мой взгляд, части данной статьи для вас. 
Надеюсь, она вам понравится, если кому интересен оригинал, он здесь.
Итак, знакомимся с Google Search Quality
Уди Менбер:
“Search Quality - это группа, ответственная за ранжирование результатов поиска в Google. Наша задача ясна: несколько сотен миллионов раз в день люди задают Google вопросы, и в течении секунды Google должен решить, какие из миллиардов web страниц следует показать, и в каком порядке. Хотя в последнее время мы занимаемся и другими делами. Но об этом позже”.
О том, чем пользуются так часто и так много людей, на удивление мало известно, то есть о ранжировании в Google. Это полностью наша вина, и так оно и задумывалось. Мы, честно говоря, достаточно скрытны в том, что делаем. На то существует две причины: конкуренция и возможное мошенничество. С конкуренцией все ясно. Ни одна компания не станет делиться своим тайными рецептами с конкурентами. Что касается мошенничества, то если мы сделаем формулы составления нашего рейтинга слишком уж доступными, мы тем самым упростим людям задачу перехитрить, обвести систему вокруг пальца. Безопасность посредством скрытности никогда не является лучшим способом, и мы не полагаемся исключительно на нее, но она на самом деле предотвращает использование очень многих “нечистых методов”.
“Подробности алгоритмов ранжирования для Google являются чем-то на подобие драгоценных камней в короне. Мы очень гордимся ими и очень их бережем.” Да яркое сравнение, и точное.
“Но быть абсолютно скрытными нельзя, и этот пост - это часть попытки вновь расказывать немного больше, чем мы делали в прошлом. Мы постараемся периодически рассказать вам о новых вещах, объяснять старые вещи, давать советы, распространять новости, и принимать участие в обсуждениях. Я начну с общей информации о нашей группе. В дальнейшем будет больше подобных постов.
Сердцем группы является команда, которая работает над основной ранжирования. Ранжирование - процесс сложный, гораздо сложнее, чем большинство людей себе представляют. Одна из причин этого заключается в том, что языки являются по своей сути существенно неопределенными, а документы не соответствуют определенному набору правил. Действительно, нет общих стандартов того, как передавать информацию, а мы должны понимать все веб-страницы, написанные кем угодно и по какой угодно причине. И это только половина проблемы. Мы также должны понимать поисковые запросы, которые задают люди, и которые в среднем состоят меньше, чем из трех слов, и после этого предоставлять им наше понимание всех этих документов. Не говоря уже о том, что у разных людей разные потребности. И все это мы должны сделать в течении нескольких миллисекунд.
Наиболее известная часть нашего алгоритма для составления рейтинга – это PageRank, алгоритм разработанный Ларри Пейджем и Сергеем Брином, основателями Google. PageRank по-прежнему используется и по сей день, но теперь он является частью гораздо более глобальной системы. К другим частям алгоритма относятся: модели языков (способность управлять словосочетаниями, синонимами, диакритными знаками, ошибками правописания, и т.д.), модели запросов (не просто язык, а то, как люди используют его сегодня), временные модели ( на одни запросы лучше отвечают страницы, которым всего 30 минут, а на другие лучше отвечать страницей, которая уже прошла испытание временем) и персонализированные модели (не все люди хотят одного и того же).
Еще одна команда в нашей группе отвечает за оценку того, насколько хорошо мы все делаем. Делается это по-разному, но цель всегда одна и та же: улучшение пользовательского опыта. Это не главная цель, это единственная цель. Каждую минуту производится автоматизированное оценивание (чтобы убедиться, что все идет по плану), также осуществляется периодическое оценивание общего качества нашей работы и, самое главное, происходит проверка конкретных алгоритмических улучшений. Когда у инженера появляется новая идея, и он разрабатывает новый алгоритм, мы очень тщательно проверяем все эти идеи. У нас есть команда специалистов по статистке, которая изучают все имеющиеся данные и определяют ценность новой задумки. Мы встречаемся каждую неделю (иногда дважды в неделю) чтоб рассмотреть все эти идеи и утвердить испытание новых. В 2007 году мы запустили более 450 новых усовершенствований, в среднем 9 в неделю. Некоторые из этих улучшений просты и очевидны - например, мы разработали способ, как на иврите обрабатываются акронимические запросы (на иврите акроним обозначается (”) рядом с последней буквой слова, так что IBM будет выглядеть как IB”M), а некоторые из этих улучшений весьма сложные - например, мы внесли существенные изменения в алгоритм PageRank в январе. Большую часть времени мы работаем над улучшением релевантности, однако мы также работаем и над проектами, единственной целью которых является упрощение алгоритмов. Простота - это хорошо.
Международный поиск стал для нас одним из ключевых направлений, над которым мы работали в течении последних двух лет. Он включает в себя все языки, а не только наиболее распространенные. Например, в прошлом году, мы добились существенного улучшения в азербайджанском, языке, на котром говорят около 8 млн. человек. За последние несколько месяцев, мы ввели проверку правописания на эстонском языке, каталонском, сербском, сербско-хорватском, украинском, боснийском, латышском, филиппинском, словенском и фарси. Мы создали сеть среди людей всего мира, которые обеспечивают нам обратную связь, у нас также есть много добровольцев со всех отделений Google, которые говорят на разных языках и помогают нам улучшить поиск.
Еще одна группа работает над новыми возможностями и новыим пользовательских интерфейсами. Большой машине нужен большой двигатель, однако одного его не достаточно. Автомобиль должен быть комфортным и легко управляемым. Пользовательский интерфейс Google поиска очень прост. Очень немногие из наших пользователей хоть раз читали страницы-помощи, они и без них прекрасно обходятся (хотя их тоже полезно почитать, и мы работаем над их улучшением). Когда мы добавляем новые опции, то делаем все возможное, чтоб они были понятны, просты и интуитивны в использовании для каждого пользователя. Одним из наиболее заметных изменений, которе мы сделали в прошлом году, был Универсальный поиск (Universal Search ). Среди прочих: Google Notebook, Custom Search Engines, и, конечно же, множество улучшений iGoogle. UI команде помогает группа экспертов по юзабильности, которые проводят исследования среди пользователей и оценивают новые функции. Они путешествуют по всему миру, и даже заходят к людям в дома, чтобы увидеть пользователя в его естественной среде обитания. (Не волнуйтесь, они не приходят без предупреждения и без приглашения!)
Существует целая команда, которая концентрируется на борьбе с web-спамом и других видах мошенничества. Эта команда работает по ряду направлений, начиная от скрытого текста, до страниц, не относящихся к конкретной теме, а просто забитых бессмысленными комбинациями кейвордов, а также над множеством других схем, которые люди используют, чтоб оказаться выше в результатах поиска. Группа выслеживает новые тенденций спама и разрабатывает для них противодействия, причем разными методами; как и все другие команды, они делают это на международном уровне. Webspam группа работает в тесном сотрудничестве с Google Webmaster Central team, с тем чтоб делиться своим пониманием данных проблем, а также прислушиваться к владельцам сайтов.
Есть и другие группы, посвященные конкретным проектам. В общем, наша организационная структура носит достаточно неформальный характер. Люди все время в движении, и все время открываются новые проекты.
Один из ключевых моментов в поиске заключается в том, что ожидания пользователей растут большими темпами. Завтрашние запросы будет гораздо сложнее, чем сегодняшние. Невозможно это точно измерить, но мы все ощущаем это. Мы знаем, что мы не можем почивать на лаврах, мы должны трудиться, чтобы справиться с новыми задачами. Как я уже говорил, мы будем и дальше будем предоставлять Вам информацию о качестве поиска, так что следите за обновлениями.”
————————
Вот и вся статья. Честно говоря, когда начинал ее переводить, не собирался переводить всю, но, как говорится, понесло…
Если она вам понравилась, не стесняйтесь, комментировать, делать замечания, или размещать у себя ( с ссылкой на эту страницу )
Комментарии 65 к заметке “Итак, знакомимся с Google Search Quality”
Оставить комментарий
РАЗДЕЛЫ
АРХИВ
Июнь 25th, 2008; 20:47
Спасибо за интересную новость.
Июль 2nd, 2008; 10:19
Прочитал и…понял, что ничего для меня интересного господин Уди Менбер не сказал. Хоть бы заикнулся о том, над какими новыми тенденциями спама они работают. А то все бла-бла-бла. Мы и так знаем, какие сервисы они добавили.
Июль 4th, 2008; 13:51
Уди Менбер все карты не открыл…
Июль 8th, 2008; 22:03
Азик, пожалуй, соглдашусь с Вами!
Июль 19th, 2008; 22:17
А я много нового для себя почерпнул. Google Search Quality - прикольная вещь!
Июль 25th, 2008; 13:29
“Подробности алгоритмов ранжирования для Google являются чем-то на подобие драгоценных камней в короне. Мы очень гордимся ими и очень их бережем.” Да яркое сравнение, и точное.
Сезам, откройся
Июль 25th, 2008; 14:29
Интересная статья..пожалуй вы правы,размещу-ка я ее у себя)
Июль 25th, 2008; 15:33
Интересно, познавательно. Благодарствую.
Июль 28th, 2008; 2:10
Ничего нового он не рассказал, только порасхваливал Google и новые сервисы((
Июль 28th, 2008; 15:06
в целом интересная статья получилась, много узнал про сервисы о которых даже не догадывался
Июль 28th, 2008; 19:23
Не могу рсс Ваше в гугл ридр добавить(
почему так?
у Вас какая то защита стоит?
Август 22nd, 2008; 12:35
аверное это защита от спамернов поэтому идобавить не можете )))
Сентябрь 21st, 2008; 1:42
Секретов конечно никаких не открыл. Работаем, улучшаем и т.д.
Хотя ничего не скажешь работают хорошо с каждым годом все сложнее и сложнее “работать” с ними
Октябрь 31st, 2008; 13:09
Google Search Quality не слышал ни разу о таком, спасибо за инфу
Декабрь 11th, 2008; 1:22
Как всегда слова-слова…
Декабрь 12th, 2008; 23:09
тоже ничего подобного не слышал, но прочитав статью меня это заинтересовало.
Гугл все совершенствуется и совершентсвуется
Декабрь 14th, 2008; 23:21
У тебя самое подробное и нормальное описание серча, а то в нете инфы море, но чтоб в ней разобраться надо самому профессором стать. Спасибо за твой труд!
Декабрь 18th, 2008; 21:46
Я МАГУ РАЗКАЗАТЬ ПРО СБЯ В GOOGLE
Январь 5th, 2009; 13:25
нормальный пост!
Февраль 4th, 2009; 19:37
алгоритмы ранжирования рпосто супер! гугл лучшей поисковик. уровень соответствия тематики 96 процентов.
Февраль 11th, 2009; 2:49
Всегда пользуюсь Google , а после того, как прочитал статью, понял, что я правильно делал:)
Февраль 14th, 2009; 0:20
“Подробности алгоритмов ранжирования для Google являются чем-то на подобие драгоценных камней в короне. Мы очень гордимся ими и очень их бережем.” Да яркое сравнение, и точное.
Сезам, откройся
Февраль 16th, 2009; 23:41
ну и я пользуюсь Google.не пойму в чём разница?
Февраль 16th, 2009; 23:44
Насколько я поняла,что всё это только в разработке?или я ошибаюсь?
Февраль 17th, 2009; 18:49
Статейка интересная только карты то он не разкрыл:)))Дорогой наш Уди Менбер!!!! думаю это и рпавельно ща конкуренция большая.так что МОЛОТОК этоот УДИ!!!!
Февраль 24th, 2009; 2:50
Гугл это самый мощный поисковик по моему мнению, молодцы ребята:), создали действительно ПОЛЬЗУ:). И сколько там трудиться людей? Я уже писала- спасибо тебе за то, что переводишь, за труд!!!!!
Февраль 25th, 2009; 17:01
Один из ключевых моментов в поиске заключается в том, что ожидания пользователей растут большими темпами. Завтрашние запросы будет гораздо сложнее, чем сегодняшние. Невозможно это точно измерить, но мы все ощущаем это. Мы знаем, что мы не можем почивать на лаврах, мы должны трудиться, чтобы справиться с новыми задачами.
Март 6th, 2009; 15:22
А я поняла, что сплоченный колектив в комании может добиться многого, я всегда пользуюсь поиском через гугл, и я всегда нахожу именно ту инфу, которая мне нужна. Спасибо за ваш труд!!!
Апрель 3rd, 2009; 1:04
Система эта просто необходима и для новочков и для бывалых пользователей. Без нее не представляю как можно обойтись, но хотелось бы еще небольших усовершенствований.
Апрель 29th, 2009; 19:31
qweqweqwe
Май 6th, 2009; 20:25
ни о чем, только хвалы гуглю и больше ничего.
Июнь 6th, 2009; 12:43
Lf ds j xtv ujdjhbnt nj!!!
Июнь 8th, 2009; 23:28
Если правильно проанализировать ключевые запросы то можно реально сократить круги поиска, и тем самым с экономить время.
Июнь 9th, 2009; 21:17
А я много нового для себя почерпнул. Google Search Quality - прикольная вещь
Июнь 15th, 2009; 16:07
У вас самое подробное и нормальное описание серча, а то в инете инфы море, но чтоб в ней разобраться надо самому профессором стать
Июнь 19th, 2009; 1:19
Ранжирование - процесс сложный, гораздо сложнее, чем большинство людей себе представляют
Июнь 20th, 2009; 12:31
алгоритмы ранжирования просто супер! гугл лучшей поисковик!
Июнь 21st, 2009; 18:29
Спасибо за информацию ато в инете фиг разберёшься. Гуггл действительно прекрасный поисковик и такими темпами может даже интернет захватить)))
Июнь 21st, 2009; 18:30
Спасибо за информацию ато в инете фиг разберёшься. Гуггл действительно прекрасный поисковик и такими темпами может даже интернет захватить)))почему бы ему не помочь)))
Июнь 22nd, 2009; 16:28
Существует целая команда, которая концентрируется на борьбе с web-спамом и других видах мошенничества
Июнь 29th, 2009; 13:10
Да уж насчет команды борьбы со спамом - както забавно звучит что-то вроде “Спец подразделение борьбы с организованным спамом в сети Интернет”=)) а вот кстати и филосовский вопрос PageRank - это Ранк Пэйджа(т.к. создали его Пэйдж и Брин), или это все-таки Ранк Страницы?:))
Июнь 30th, 2009; 19:40
тоже ничего подобного не слышал, но прочитав статью меня это заинтересовало, гугл - лучший!
Июль 2nd, 2009; 18:28
Ранжирование - процесс сложный, гораздо сложнее, чем многие себе представляют
Июль 13th, 2009; 19:34
Я пользуюсь Гуглам и разницы не вижу никакой.
Может обьясните
Июль 13th, 2009; 19:42
Интересная статья
будем пробовать
Июль 14th, 2009; 20:09
Google Search Quality - прикольная вещь, много нового для себя открыл из этой статьи
Июль 17th, 2009; 15:37
алгоритмы ранжирования просто супер! google лучший поисковик!
Июль 20th, 2009; 15:22
Подробности алгоритмов ранжирования для Google являются чем-то на подобие драгоценных камней в короне.
Июль 20th, 2009; 17:52
Всегда пользуюсь Google , а после того, как прочитал статью, понял, что я правильно делал…
Июль 26th, 2009; 17:18
Система эта просто необходима и для новичков и для бывалых пользователей. Без нее не представляю как можно обойтись
Август 13th, 2009; 1:54
Всегда пользуюсь Google , а после того, как прочитал статью, понял, что я правильно делал…
Август 31st, 2009; 13:54
Интересная статья. Спасибо за перевод.
Сентябрь 2nd, 2009; 5:31
СПС за инфу-а я вот всегда пользовалась google-ом-самый лучший!
Сентябрь 2nd, 2009; 19:10
гугл для запада лучше, для России более приемлемым остается яндекс
Сентябрь 4th, 2009; 18:10
Раньше я использовал yandex, а теперь перейду на google.
Сентябрь 6th, 2009; 14:35
Ничего не имею против гугла,но мне лично больше нравится Yahoo.Почему?По поисковым запросам находит более точно,удобные сервисы.Ну и привыкла я уже както к нему).
Сентябрь 22nd, 2009; 14:54
отлично! есть над чем задуматься! возьму к себе)
Октябрь 19th, 2009; 10:37
да спасибо зо информацию вы мне очень помогли
Октябрь 19th, 2009; 19:00
Команда google отлично работает. Яндекс в подметки не годится…
Октябрь 22nd, 2009; 12:52
интересно
Октябрь 31st, 2009; 19:28
Спасибо за интересную новость.
Ноябрь 12th, 2009; 19:38
я мне кажется яндекс лучше ищет чем гугль, но как говорится на вкус и цвет…
Февраль 15th, 2010; 3:20
Normally, teachers want to check the essay topic writing ability of some their students, however not all good students can to write professionally because of no time and other issues. Thence, a essay writing service should aid to write the term papers professionally.
Март 13th, 2010; 1:09
Да, нашим отечественным поисковым системам еще очень далеко до гугла
Май 11th, 2010; 16:18
This is cool that people can take the lowest-rate-loans.com and that opens up completely new opportunities.