«Яндекс» запустил новый «умный» поиск. Как им воспользоваться? "яндекс" запустил новую версию поисковика Яндекс представит свой новый поиск

Вчера некоторые жители нашей страны внезапно обнаружили, что . Его временно заблокировали провайдеры ТТК, «Акадо», «Авакс» и Sumtel по указанию Роскомнадзора. Но значительная доля абонентов этих провайдеров не заметили блокировки, так как пользуются отечественной поисковой системой.

В апреле 2017 в «Яндексе» искали что-либо 43 миллиона человек . Если вы из их числа, то эта небольшая статья – для вас.

P.S. Для тех, кто предпочитает Google и DuckDuckGo, есть cсылки в последнем разделе.

1. Как искать среди сайтов определенного города, области, федерального округа или страны?

Вот так можно найти информацию по запросу «бал выпускников» среди сайтов города Братск:

бал выпускников cat:11000976

Чтобы узнать цифру, которую надо набирать после оператора cat: , надо к 1100000 прибавить код региона в «Яндекс.Каталоге». Например:

• Москва - 1100001;
• Чернигов - 1100966;
• Воронеж - 1100193;
• Поволжье - 1100040;
• Киргизия - 1100207;
• Страны СНГ - 166.

В «Яндекс.Каталоге» уже более 117 тысяч сайтов. Аналогичным образом можно искать что-либо только среди ресурсов, посвященных определенной теме. Для этого вместо кодов регионов надо использовать коды тем и прибавлять к ним 9000000, вместо 1100000.

2. Как обмануть «Яндекс» относительно своего местоположения?

С помощью расширение для Chrome Manual Geolocation можно отметить на карте любую точку и поисковая система будет думать, что вы находитесь именно там и корректировать результаты поиска в соответсвии с этими данными. Например, можно искать объекты, расположенные неподалеку от дома в Санкт-Петербурге, а находится при этом в Москве. Удобно при планировании поездок.

Этот пункт актуален для всех сайтов, которые используют данные о вашем местоположении.

3. Как искать страницы в определенной доменной зоне и на определенном языке?

Вот так можно найти, что пишут о зебрах украинские сайты (в доменной зоне ua) на украинском языке:

зебра domain:ua lang:uk

Аналогичным образом можно выяснить мнение сайтов других государств по разным вопросам. Коды языков для «Яндекса»:

• русский (ru);
• украинский (uk);
• белорусский (be);
• английский (en);
• французский (fr);
• немецкий (de);
• казахский (kk);
• татарский (tt);
• турецкий (tr).

4. Как искать страницы на конкретном сайте?

Вот так можно искать страницы только на сайте сайт:

зебры site:сайт

Вот так можно искать только среди статей определенной категорий. Например, среди вопросов в Службу спасения сайт :

сообщения url:сайт/iNotes/q/*

А вот так получить список всех тегов, которые используются на сайте:

5. Как искать страницы, созданные в определенную дату?

Вот так можно найти страницы, созданные в определенный день:

стив джобс date:20170617

А вот так в промежуток между двумя датами:

стив джобс date:20170610..20170617

А с помощью оператора idate: можно искать страницы по дате последней индексации.

6. Как искать файлы определенного типа?

Поиск книги в формате PDF для загрузки в iBooks:

цветы для элджернона mime:pdf

А вот так можно найти все документы MS Word c упоминанием слова «декларация» на сайте ФНС:

декларация mime:docx site:nalog.ru

Типы документов, которые индексирует «Яндекс»:

• html;
• docx;
• xlsx;
• pptx;

7. Как искать только в названиях страниц?

С помощью этого оператора:

Очень удобно, когда надо найти статью по точному названию.

8. Как искать по имени файла-изображения?

Сохранили картинку на свой компьютер, хотите использовать с указанием источника, но не помните откуда она? Поможет оператор поиска по точному имени изображения:

Операторы для поиска по значениям атрибутов HTML-тегов:

applet: – code тега applet;
script: - src тега script;
object: – все атрибуты object;
action: – action тега form;
profile: – profile тега head.

9. Как найти ссылки на определенную страницу?

У «Яндекса» есть оператор для поиска упоминаний запрос внутри ссылок. Таким образом можно найти ссылки на определенную страницу.

inlink:”www.сайт/iNotes/533552″

10. Как пользоваться мини-приложениями и подсказками?

Если набрать в поиске одно из четырех слов ниже, то под поисковой строкой появятся мини-приложения:

• «Калькулятор»;
• «Конвертер валют»;
• «Конвертер величин»;
• «Перевод».

А для некоторых запросов ответы отображаются прямо в поисковой строке. Примеры.

Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом поисковик определяет ее суть еще на этапе индексирования

МОСКВА, 22 августа. /ТАСС/. «Яндекс» запустил новую версию поиска, в основе которой лежит сопоставление смысла запроса и веб-страницы, сообщила компания. Новая версия работает на алгоритме «Королев», который с помощью нейронной сети определяет, что именно нужно пользователю. Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом «Яндекс» определяет суть страницы заранее, на этапе индексирования.

Другая особенность «Королева» заключается в том, что он учитывает еще и смысл других запросов, по которым люди на нее переходят. «Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры дает обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешел на страницу и просматривал ее какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, „Яндекс“ учится понимать смысловые связи. Например, он поймет, что в запросе „картина где небо закручивается“, речь идет о картине Ван Гога, а в запросе „ленивая кошка из монголии“ - о мануле», - говорится в пресс-релизе компании.

В прошлом году «Яндекс» уже запускал систему, работающую на основе нейросетей - «Палех». Прежняя система индексировала 150 страниц, в «Королеве» количество страниц, которые поиск сравнивает по смыслу с запросом, выросло до 200 тыс.

Новый алгоритм был назван в честь основоположника отечественной космонавтики Сергея Королева.

«А сегодня мы запускаем новый алгоритм ранжирования „Королев“. Почему мы выбрали такое название? Сергей Павлович Королев осуществил мечту человечества о полетах в космос. Для нас в „Яндексе“ сегодняшний запуск является таким же важным технологическим прорывом к мечте о поиске, который понимает пользователей», - сказал на презентации новой версии поиска руководитель службы релевантности лингвистики «Яндекса» Александр Сафронов.

Помощь зала

Для обучения поисковой системы нужны оценки качества ответов. Раньше «Яндекс» оценивал качество поиска с помощью своих оценщиков. В новом поиске будут учитываться оценки, которые будут выставлять пользователи сервиса «Яндекс.Толока» - распределенной сети оценщиков. Сервис позволяет любому выполнять задания и получать за них вознаграждения, на данным момент в нем зарегистрировано более миллиона пользователей. На платформе может зарегистрироваться любой желающий.

«Яндекс» является крупнейшей поисковой системой в России. Доля компании на российском поисковом рынке (включая поиск на мобильных устройствах) во втором квартале 2017 года составила в среднем 54,3%, в первом квартале этого года - 54,7% (по данным аналитического сервиса «Яндекс.Радар»). По данным Liveinternet.ru, в июне этого года поисковая доля «Яндекса» составила 51,3%.

Пока в блоге «Яндекса» и на «Хабре » на сотни комментариев разворачиваются споры о достоинствах и недостатках нового алгоритма, мы расскажем о главном: что это значит для пользователей, как включить новый поиск и что, собственно, изменилось.

«Королёв» как новый поиск

Главное, что нужно знать про алгоритм «Королёв» не слишком погруженным в тему пользователям - это то, что он умный. Его так и представили: «Королёв - это машинный интеллект, который тебя понимает». Построен поиск на специально обученной нейронной сети. Она ищет уже не столько по словам, сколько по смыслу. «Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы еще более точно», - утверждают разработчики.

Например, если ввести запрос «под эту музыку появляется Дарт Вейдер» - поиск первым делом предложит послушать «Имперский марш». А заодно выдаст информацию по персонажу «Звёздных войн». Логично? Вполне. На запрос «фильм, в котором пожилой мужчина пришел на работу устраиваться», первым ответом появляется ссылка на рецензию к фильму «Стажер». Он и подразумевался. И ведь не пришлось вспоминать ни год, ни актеров, ни даже подбирать слова и их порядок для запроса.

То же самое касается поиска по картинкам. Если раньше он осуществлялся по ключевым словам из описания к картинкам, то теперь алгоритм анализирует само изображение. Поэтому если вы введете запрос «кошка в космосе» - вам покажут не только забавные креативные работы на эту тему, но и, например, кошку в стиральной машине. Просто потому, что присутствуют все похожие по смыслу составляющие: кошка - в наличии, дверца похожа на иллюминатор, а корпус - на ракету.

В прошлом году «Яндекс» сделал первый шаг к поиску по смыслу, внедрив алгоритм «Палех». Он умел сопоставлять смысл запроса и заголовка веб-страницы. «Королёв» анализирует не только заголовок, но и всю страницу целиком. Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч страниц. Еще одна особенность «Королёва»: он учитывает также смысл других запросов, по которым люди переходят на страницу.

Почему «Яндекс» говорит, что сделал это с моей помощью?

Всё, что мы делаем в «Яндексе»: какие запросы задаем, на какие страницы переходим, задерживаемся или уходим (потому что не нашли нужного) - учитывается в поисковой статистике. Если вы ввели запрос, прошли по ссылке в выдаче и задержались на странице некоторое время - вероятно, вы нашли нужную информацию и ознакомились с ней. Данные о поведении миллионов пользователей помогают нейронной сети учиться понимать смысловую близость запроса и найденной страницы.

Для обучения важно также учитывать качество ответов. Раньше «Яндекс» оценивал качество поиска с помощью специалистов - асессоров. Теперь учитываются также оценки добровольцев - пользователей «Яндекс.Толоки». Это сервис, где любой желающий может выполнять задания, помогая улучшать поиск, и получать за это вознаграждение.

Как мне начать использовать новый поиск?

Ничего особенного от вас не требуется. Новый поиск так или иначе заработает сам. Но если вы хотите вникнуть в происходящее - достаточно зайти на главную «Яндекса», домотать до «звездного неба» и нажать на «Пуск». Так вы познакомитесь с собственным поисковым поведением и сможете посмотреть ролик о «Королёве», объясняющий, как всё работает. Вы также можете просто нажать на логотип «Яндекса» слева от поисковой строки и посмотреть красивую и понятную презентацию.

Почему «смысловые» запросы работают не всегда?

Естественно, в первую очередь нейросеть учится воспринимать популярные запросы - например, о кино или музыке. Именно о таких запросах у поисковика больше всего данных, их задает большое число людей. Чему-то специфическому «Королёв» тоже сможет обучиться, но произойдет это несколько позже - когда наберется необходимая для анализа информация.

Презентация полностью

Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв». Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Слова и смыслы

Прежде чем рассказывать про настоящее и будущее поиска, вспомним его прошлое. Первые поисковые системы появились в середине 1990-х годов, когда интернет был совсем небольшим - счёт сайтов шёл на тысячи. Чтобы помочь человеку найти нужное, достаточно было составить список веб-страниц, где есть слова из поискового запроса. О сложном ранжировании - то есть упорядочивании страниц по степени соответствия запросу - речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит.

Интернет быстро рос, и потребовались дополнительные критерии отбора. Поисковики начали учитывать ссылки на документы, научились определять регион, откуда поступил запрос, стали обращать внимание на поведение пользователей.

В какой-то момент факторов ранжирования - признаков, по которым можно определить, насколько хорошо страница отвечает на запрос, - набралось так много, что стало ясно: прописать их все в виде инструкций невозможно. Лучше научить машину самостоятельно принимать решения: какие признаки использовать и как их комбинировать. В Яндексе для этих целей придумали Матрикснет. Это метод машинного обучения, с помощью которого строится наша формула ранжирования.

Поиск, однако, по-прежнему опирается на слова. Перед тем как пустить в ход сложную формулу ранжирования, поисковые машины составляют список «предварительно подходящих» веб-страниц - таких, в которых есть слова из запроса. Нам, людям, понятно, что один и тот же смысл можно выразить разными словами. Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать. Однако объяснить это машине довольно сложно.

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда компания представила поисковый алгоритм «Палех». В его основе лежит нейронная сеть. Нейросети показывают отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: скажем, распознавание речи или объектов на изображениях.

Запуская «Палех», компания научила нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия - например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 тысяч документов - то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи.

Люди учат машины

Яндекс верит, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования. Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому мы решили привлечь к этому всех желающих и запустили сервис Яндекс.Толока. Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому Яндекс не ошибётся, если скажет: новый поиск - это поиск, который мы сделали вместе.