Yandex Cloud представила нейросеть для бизнеса, которая распознает эмоции клиентов по голосу

Платформа Yandex Cloud создала нейросеть для бизнеса, которая может распознавать в речи клиентов негатив, неформальные высказывания и нецензурную лексику. Если пользователь общается с голосовым помощником в негативном ключе, нейросеть может передать данные об этом во внутреннюю систему заказчика, и она автоматически переключит звонок на сотрудника колл-центра. Если оператор нагрубил клиенту, система оповестит менеджмент об этом, сообщает Sostav.

Новая ML-модель разработана на базе технологии распознавания речи Yandex SpeechKit. Алгоритм работает в потоковом режиме: расшифровывает и анализирует эмоции прямо во время разговора. Также он умеет определять:

• какие эмоции испытывают пользователи — по содержанию и скорости их речи, высоте, тембру голоса и другим параметрам;

• какого пола участники разговора;

• кому принадлежит та или иная реплика;

• какие темы и формулировки от оператора вызывают негатив у клиента.

Новая нейросеть позволит создавать голосовых помощников и виртуальных операторов колл-центров, которые могут понимать человеческие эмоции.

Вскоре нейросеть заработает в сервисе речевой аналитики SpeechSense, который включает технологии Yandex SpeechKit и интегрирован с нейросетью YandexGPT. Это позволит алгоритму распознавать более сложные эмоции спикера: например, неуверенность или сарказм. Также ИИ сможет определить, насколько оператор погрузился в проблему клиента, пытался ли помочь или старался как можно быстрее завершить разговор.

Напомним, что недавно Яндекс Практикум запустил бесплатный курс «YandexGPT для начинающих».

На этой странице есть элементы, которые могут не отображаться на AMP-страницах.