«Яндекс» дал россиянам ранее недоступный им «дорогой» поиск

«Яндекс» заменил поисковый алгоритм «Палех» на его более развитую версию «Королёв». Прошлогодний «Палех» использовал связь между смыслом поискового запроса и смыслом заголовков предварительно подобранных веб-страниц. «Королёв» работает со всем содержанием страницы, не ограничиваясь заголовком.

Запрос «как одеться сегодня» по смыслу соответствует веб-страницам с прогнозом погоды на ближайшие часы, и страницам с советами стилиста о моде в августе 2017 года — заголовки и текст подходящих страниц не обязаны повторять слова из исходной фразы «как одеться сегодня».

«Яндекс» напомнил о вычислительной сложности установления смыслового соответствия при помощи нейросетей. С ноября 2016 года, на старом алгоритме, мощностей дата-центров «Яндекса» хватало на ранжирование через нейронные модели лишь 150 лучших заголовков от потенциально подходящих документов к одному запросу. На более ранних стадиях ранжирования применялись более грубые, но, за счёт своей простоты, более скоростные методы сортировки. В «Яндексе» понимали, что хорошие документы всё-таки терялись на ранних стадиях, а все смыслы веб-страницы не всегда удачно переданы в её заголовке. В поисковике перестроили и организацию нейронных сетей и подход к первичному индексированию веб-страниц. В результате «Королёв» сравнивает по смыслу с запросом не 150 заголовков, как раньше, а 200 000 полных веб-страниц, ранжирует их и выводит в результаты поиска.

https://youtu.be/7rCKBf2dBwc

Презентация новой версии поиска «Яндекса»

Превратившийся в «Королёва» «Палех» — это не финальная версия поискового алгоритма. «Яндекс» рассказал, что в перспективе инженеры хотели бы применять нейросети на всех стадиях предварительного поиска и добавить в алгоритм персонализацию: «Чтобы семантические вектора помогали нам находить документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса. Еще мы хотели добавить персонализацию (представьте себе еще один вектор, который будет соответствовать интересам человека)». Поисковик планирует: «Но на все это требуется не только время и знания, но и память и вычислительные ресурсы, и здесь без нового дата-центра не обойтись. И у Яндекса такой уже есть. Но это уже другая история […]».

В конкурирующем Google тоже работают над искусственным интеллектом (AI) в поиске. Около года назад Google поручил поиск Джону Джаннандреа — специалисту по AI.

3 комментария | Подписаться на комментарии | Комментировать

Источник: Roem.ru