«Самый большой прорыв в поиске за последние пять лет»: Google запустил BERT. Читайте на Cossa.ru
JustNow
Digital Marketing Ad Tech Agency
28 октября, 13:40

«Самый большой прорыв в поиске за последние пять лет»: Google запустил BERT

Разбираемся, а в чём, собственно, прорыв и как это работает.

С помощью технологии BERT (Bidirectional Encoder Representations from Transformers — NLP на базе нейронных сетей) результаты поиска станут более осмысленными, приближенными к тому, что на самом деле хотел узнать пользователь. Просто специальные модели теперь будут обрабатывают слова в поисковом запросе не по порядку, а с учётом контекста. Уже сейчас поиск на основе BERT помогает лучше понять каждый десятый запрос в США на английском языке, а со временем, после успешного обучения обновление заработает для других языков и локализаций.

Отпадёт необходимость формулировать запрос специально — Search сможет понять контекст слов даже в длинном запросе со множеством предлогов типа “for” и “to”, иногда радикально меняющих смысл фразы.

Например, поиск “2019 brazil traveler to usa need a visa”. Здесь “to” и его связь с другими словами в запросе особенно важны для понимания смысла. Речь идёт о путешествии бразильца в США, а не наоборот. Раньше алгоритм не видел этой связи, и в выдачу попадали материалы о гражданах США, путешествующих в Бразилию. С помощью BERT поиск предоставит более релевантный результат для этого запроса.

Google запустил BERT для поиска - что это и как работает

Давайте посмотрим на другой запрос: “do estheticians stand a lot at work”. Раньше термин «автономный» воспринимался как слово «стоять» (“stand”). BERT всё поймёт правильно:

Google запустил BERT для поиска - что это и как работает

Вот ещё несколько примеров, когда BERT словит нюансы языка там, где компьютеры не воспринимают текст как люди.

Google запустил BERT для поиска - что это и как работает

Только с появлением BERT “for someone” стало важной смысловой частью этого запроса

Google запустил BERT для поиска - что это и как работает

Раньше при поиске вообще игнорировали слово “no”, не понимая, насколько оно важно для правильного ответа

Google запустил BERT для поиска - что это и как работает

BERT выбирает более полезный результат именно для взрослой категории пользователей

Понимание языка останется вечной проблемой, а значит совершенствовать Поиск придётся бесконечно. Конечно, лучше не испытывать BERT запросом “what state is south of Nebraska” («какой штат находится к югу от Небраски») — скорее всего, она выдаст “South Nebraska” («Южная Небраска»). Хотя очевидно, что это Канзас :–) Тем не менее модели, обучаемые на английском, уже пытаются применить к другим языкам. И даже успели получить ощутимый эффект на таких языках, как корейский, хинди и португальский.


Пакет «MUSTHAVE-2020» для digital-агентств и веб-студий


Главный коммерческий пакет MUSTHAVE-2020 для digital-агентств и веб-студий, в который включено сразу 7 различных опций, сервисов и рекламных форматов в рейтингах Руварда на весь следующий год.

Успейте приобрести MUSTHAVE до Нового Года! Cossa рекомендует.

Реклама

Комментарии:



Чем живёт диджитал?
Главное — в рассылке:




Вход на cossa.ru

Уже есть аккаунт?
Выбирай любой вариант входа:
Facebook Vkontakte

Используйте свой аккаунт в социальной сети Facebook или Вконтакте, чтобы пользоваться сайтом

Не забудьте написать email на странице своего профиля для управления рассылкой