Сотрудники и студенты Высшей школы экономики — Санкт-Петербург вместе с коллегами из Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбера разработали нейросеть для анализа человеческого поведения, сообщили в пресс-службе вуза.
Модель обрабатывает видео, голос и содержание речи, а также учитывает мимику, взгляд, позу и жесты. В результате она одновременно распознает эмоции, оценивает видимые черты личности и выявляет амбивалентность — неуверенность или противоречивость поведения.
Существующие модели чаще всего специализируются на одной задаче и хуже работают с новыми данными. Исследователи объединили несколько разнородных корпусов, каждый из которых был размечен для своей задачи, и обучили модель использовать всю информацию одновременно.
Самое интересное, что это повысило качество работы с данными, которые она читала впервые
Нейросеть обучали на суперкомпьютере ВШЭ «Харизма». Для трех задач использовали разные корпуса данных — каждый со своей разметкой. Основная сложность заключалась в том, что информативность разных каналов зависела от задачи: для оценки черт личности важнее видео, а для выявления амбивалентности — содержание речи.
Исследователи сравнили три режима обучения. Дополнительные данные повысили распознавание эмоций примерно на 6%, а качество оценки черт личности — на 3,2%. На незнакомых данных многозадачность улучшила качество распознавания эмоций на 13,7%.
Способность работать с новыми данными проверили на отдельном корпусе, который модель не видела во время обучения. Результаты показывают потенциал разработки для цифровых образовательных систем, интеллектуальных интерфейсов и технологий поддержки пользователей.
До конца 2026 года команда планирует повысить адаптивность модели и внедрить нейросетевые эксперты, которые будут по-разному учитывать голос, речь и жесты в зависимости от задачи. Параллельно специалисты работают над персонализированными цифровыми аватарами, способными адаптировать мимику, речь и поведение к эмоциональному состоянию пользователя. Результаты опубликованы в IEEE Access.
Ранее Наука Mail писала о том, что ученые выяснили, как позитивный настрой влияет на чтение эмоций.