В нейросетях клиентской поддержки. Кто и как делает сервис, отвечающий на негативные отзывы
Как научить машину понимать отзывы.
Группа компаний Reputation.Earth запустила Leveling — сервис нейтрализации негативных отзывов с помощью профессиональных ответов. Нюанс в том, что бо́льшую часть работы выполняет нейросеть. Она анализирует отзыв и предлагает шаблон ответа.
Валентина и Данил — ведущие разработчики сервиса Leveling, входящего в группу компаний Reputation.Earth. Сервис помогает оценить отзыв клиента и дать на него развёрнутый ответ. Такой подход способен решить проблему клиента или мотивировать к повторному обращению к бренду. Переписку видят другие пользователи. Для них важно, что в случае проблемы компания не бросит их и постарается помочь.
Пока сервис работает в тестовом режиме для клиентов из США, а один ответ стоит меньше доллара.
Мы поговорили с разработчиками и узнали, почему текст — сложнейший материал для анализа, сколько нужно отзывов, чтобы научить робота отличать «хорошее» от «плохого», и причём тут «Игра престолов».
В начале пути
Идея создать систему, оценивающую отзывы и предлагающую на них развёрнутый ответ, возникла в начале 2019 года. Непосредственно к реализации команда приступила в начале лета.
«Я закончила магистратуру по направлению „Обработка данных“. Однако на практике чаще сталкивалась с изображениями и временными рядами. Обработка текста стала для меня новым опытом», — рассказывает Валентина.
Сама Валентина, с точки зрения работы над Leveling, называет себя «практиком». Стратегические задачи лежали на Даниле, но это не означает, что он не занимался непосредственно разработкой. В области Data Science Данилу приходилось работать с анализом и интеллектуальной обработкой музыки.
«Мы всё ещё в анализе данных, только формат другой, — поясняет Валентина. — В целом любые данные подаются машине одинаково. Мы воспринимаем картинку совокупностью цветов, а машина принимает цифры. Значит надо перевести текст в числа».
В июне и июле команда разрабатывала концепт будущего сервиса: анализировала технические детали и возможности реализации. Непосредственно разработка началась в августе. Идея сервиса звучит так: модератор сервиса сканирует отзыв, а система предлагает подходящий шаблон ответа. Однако это нынешнее ви́дение сервиса, и оно может меняться под влиянием запросов рынка.
С точки зрения выхода на рынок команда Leveling ведёт маркетинговое исследование, а также тестирует сервис на потенциальных потребителях. В этом помогло участие проекта в акселераторе GoGlobal. Проект развивается, появляются изменения и доработки.
Как работает Leveling
Время от времени компании допускают ошибки, которые не устраивают клиентов: ресторан теряет заказ, а в отеле ломается кондиционер. Разочарованный клиент напишет об этом негативный отзыв. Так проблемная ситуация становится достоянием общественности. Потенциальные клиенты тоже читают негативные отзывы, чтобы спрогнозировать риск обращения к компании.
Если бизнес грамотно ответит на негативный отзыв, тот потеряет негативный эффект. Мастера клиентской поддержки развернут диалог в позитивное русло. Ответы стимулируют пользователей писать больше подробных отзывов. Но сначала придётся научиться вежливо и аргументированно вести диалог в интернете.
Человек может упустить важные моменты из отзыва, особенно когда читает их по 100 штук в день. Каждый текст необходимо проанализировать, провести лингвистический анализ и много чего ещё. Всё это затратно по времени.
Лучше показать работу Leveling на примере. Предприниматель, владеющий небольшой сетью кафе, заказал ответы на цепочку негативных отзывов. Оказалось, одна из точек работала хуже других, её низкие оценки портили общую статистику всему бренду.
На замечания пользователей представитель кафе отвечал сообщениями по типу: «Нам очень жаль. Будем работать лучше». Так продолжалось две недели.
У компании не было острых конфликтов, и Leveling закрыл негатив. Сервис генерировал основу для индивидуальных ответов. Они не повторялись, поэтому клиенты чувствовали заинтересованность бренда в их мнении. Это видели и потенциальные посетители.
Треть авторов негатива сменила оценки на более позитивные. Примерно на столько же выросла доля положительных и вопросительных отзывов. В Google Maps оценка сети поднялась на 1,3 звезды, кафе чаще попадало в рекомендации.
Leveling сканирует отзыв и предлагает сценарий ответа. При этом подсвечиваются тезисы автора текста
«Машина распознаёт смысл написанного даже в контексте рассказа человека о себе. Например, автор пишет: „Я спортсмен, люблю бегать. Купил фитнес-часы, и вот мои впечатления“. Leveling распознает, что относится к качествам человека, а что — к качествам продукта», — поясняет Валентина.
Как научить машину понимать отзывы
Как рассказал Данил, в работе они столкнулись с двумя сложностями.
Векторное представление слов. В работе требовалось составить специальную карту слов, на которой близкие по смыслу слова находятся рядом.
«Мы проводили эксперимент с одной из книг „Песни льда и огня“ (по ней снята „Игра престолов“). На карте слов „королева“, „королевство“ и „дракон“ находились рядом. В контексте книги они были близки по смыслу, и машина это понимала», — объясняет Данил.
Картинка с примером вектора «Песни льда и огня»
Дело вот в чём: у книги один автор, и его стиль остаётся неизменным. С отзывами ситуация усложняется. Люди пишут разные тексты: подробные и мелкие, грамотные и бестолковые. Многие отзывы только портили данные, уводили машину от понимания. Так команда пришла к следующей сложности.
Сбор данных. Чтобы машинное обучение сработало, нужно собрать хороший dataset — набор данных для обработки или попросту учебник для нейронной сети. Тут как с людьми. Можно учить историю по академическим трудам, а можно по книгам Фоменко и Понасенкова. Поэтому команда отсеяла отзывы с матами, несвязной лексикой и малым количеством слов.
«Мы даём данные: отзыв и оценку автора. Сравнивая эти факторы, нейронная сеть решает: это позитивно, а это негативно, — рассказывает Валентина. — Система видит, что слова „плохой“, „ломается“ и „ужасный“ свойственны отзывам с низкой оценкой. Когда даём новый отзыв, она узнаёт слово и предполагает, что и отзыв отрицательный».
Для первоначального пула данных хватило 100 тысячи отзывов. На каждую оценку по пятибалльной шкале машине давали по 20 тысяч текстов. Dataset Amazon открытый, поэтому начали с него, потом добавляли отзовики, посвящённые ресторанам, еде и отдыху. В последних люди уже рассуждают о понятиях «атмосфера», «месторасположение», «обслуживание» и других. Пополнение dataset продолжается.
Трудности перевода с человеческого на машинный
Машина научилась распознавать оттенки смыслов, но языковая практика находит способы поставить её в тупик. Так, Levelling через раз понимает, что перед ним сарказм. Впрочем, с такой задачей справятся и не все люди.
Плохая еда, которую долго несли, а администратор вообще нахамил. Это ресторан или какая-то шутка?
Человек скорее поймёт, что перед ним ирония, но машина примет вопрос за чистую монету. Логика такая: «Если есть вопрос, значит человек хочет что-то уточнить. Нейросеть воспринимает это нейтрально». Разработчики продвинулись в обучении, но ещё есть над чем работать.
Ещё одной ловушкой английского языка стали идиомы.
«Мне попался комментарий с фразой „red tape“, — рассказывает Валентина. — Буквально означает „красная лента“, однако так люди называют излишние формальности, волокиту и бюрократизм. То есть идиома с негативным значением. Вряд ли кто-то назовёт бюрократию позитивным моментом».
Там, где человек распознает идиому, машина серьёзно задумается. Но это поправимо. Вообще большинство людей не пишут саркастически в комментариях к продукту, но система должна это распознавать.
Будущее сервиса
«У нас нет практического опыта генерации грамотных ответов, но это возможно, — объясняет Данил. — Есть сервисы, генерирующие музыку, например, Mubert. С текстом похожая ситуация. Сначала ответ будет сырым, сделанным вопреки правилам английского языка. После исправлений и введения новых методов, текст будет улучшаться».
Сейчас ответ остаётся за модератором. Он получает ответ от машины, правит его и отправляет в публикацию. Параллельно результат оседает в dataset. В будущем эти данные помогут генерировать более грамотные ответы.
Валентина поясняет: система также должна научиться работать с шаблонами ответов. Кто-то ждёт объяснений или извинений. Смысловые блоки должны быть логично связаны друг с другом.
Допустим, человек пишет о телефоне: «Классная камера и никакая продолжительность работы. Даже ночью получаются неплохие фотки». Здесь два тезиса о камере, разделённые негативом о зарядке. Leveling должен собрать мнение о камере в один смысловой блок.
Стартовать на английском языке проще, чем на русском. В славянских языках слова с одним корнем могут трансформироваться до неузнаваемости, много приставок и суффиксов. К тому же есть части слова, которые важны для построения производных, но о которых не рассказывают в школе. Да, нулевой суффикс, мы имеем в виду тебя.
Изнутри Leveling отдалённо напоминает кубик Рубика. Это сервис, состоящий из множества микросервисов, решающих разные задачи. Каждый такой сервис внутри команды называют MiniBox. Соответственно, вместе они собираются в единый Box. Понять принцип работы проще, чем кажется.
В языке мы используем сложные предложения. Если мы решим их разобрать, нам придётся разделить их на простые предложения. В Leveling такой же принцип. Разделением отзыва на блоки занимается один «Минибокс», оценкой тональности — другой и так далее.
Если говорить на языке разработки, Leveling находится на этапе MVP, или минимально жизнеспособного продукта. Сервис работает и приносит деньги, но лучшее ещё впереди. Каждый ответ модератора дублируется в dataset. Чем больше используют Leveling, тем лучше он становится.
Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.
Популярные новости
17 апреля 2024, 11:27
16 апреля 2024, 11:27
15 апреля 2024, 13:00
15 апреля 2024, 12:09
15 апреля 2024, 11:04
