MIT: трекер эмоций на запястье

Исследовательская команда из Массачусетского технологического института (MIT) под руководством Тука Альханаи (Tuka AlHanai) и Мухаммеда Махди Гассеми (Mohammad Mahdi Ghassemi) превратила умные часты от Samsung в носимую аналитическую систему-гаджет для распознавания и оценки тональности беседы. Результаты R&D фазы исследования и лабораторных тестов изложены в статье «Predicting Latent Narrative Mood using Audio and Physiologic Data», доступной для ознакомления по ссылке.

Не является секретом, что разговор двух собеседников может интерпретироваться разнообразными способами. Для людей, склонных к тревожным состояниям или страдающих синдромом Аспергера, социальное взаимодействие нередко оказывается крайне стрессовым. Но что если появится возможность объективного измерения и понимания эмоционального окраса наших коммуникаций?

Ученые из MIT заявляют, что приблизились к потенциальному решению: алгоритм, встроенный в носимый на запястье гаджет, способен классифицировать тональность разговора (определяя её как радостную, грустную либо нейтральную) в режиме реального времени на базе аудио-данных, текстовых транскрипций и физиологических сигналов, демонстрируя точность порядка 83% даже в случае импровизированных, неструктурированных интеракций. Исследовательский девайс Simband регистрирует в высоком разрешении физиологические параметры - пульс и частоту сердечных сокращений, кровяное давление, температуру и электрическую активности кожи, в систему также встроены датчик движения, аудио и текстовые транскрипторы, собирающие акустические (высота звука, громкость, энергичность) и языковые данные (выбор слов из словарного перечня).

В рамках эксперимента был записан 31 разговорный фрагмент длительностью не более нескольких минут каждый, после чего были обучены два алгоритма: один характеризовал общую тональность беседы как радостную (happy) или печальную (sad), другой, напротив, каждый пятисекундный отрезок беседы относил к одной из трех категорий: позитивной, негативной или нейтральной. Таким образом, в те или иные слои нейросети подавались признаки (features) различного типа и природы, что позволило добиться усредненно более точной картины, опирающейся на многофакторность человеческого взаимодействия, пусть и пока в достаточно узком диапазоне. Выводы алгоритма в целом совпадают с тем, что может улавливать человек посредством слуха и зрения: например, длительные паузы и монотонность речи скорее ассоциируются с грустными историями, а более энергичные, вариативные речевые паттерны – со счастливыми и веселыми.

В будущем Альханаи и Гассеми собираются адаптировать систему для других умных девайсов, включая Apple Watch, и расширить ее функционал до определения скуки, напряжения, возбуждения и других эмоций. Кроме того, планируется добавить более простой, очевидный способ передачи результатов владельцу – однократная вибрация будет свидетельствовать о «позитивном» ходе беседы, а повторная – о «негативном».

Related articles

Глаза как зеркало эмоций Группа ученых из университетов Колорадо и Корнелл (США) подготовила…
MERC 2017 MERC 2017
MIT: трекер эмоций на запястье Исследовательская команда из Массачусетского технологического института…
Emotion Miner platform Emotion Miner - global online video-annotation platform
Honda NeuV: автомобиль с эмоциональным интеллектом На состоявшейся в январе выставке CES 2017 в Лас-Вегасе (штат Невада,…
Эмоции в индустрии FoodTech Профессор экспериментальной психологии Оксфордского университета Великобритании…
Машинное обучение, эмоции и музыка Развитие современной музыкальной индустрии всё в большей степени ориентируется…

Олег Петров

Frontend-разработчик

SUBSCRIBE NEWS

  • Facebook
  • vkontakte
  • Linkedin
Popular articles
Глаза как зеркало эмоций Группа ученых из университетов Колорадо и Корнелл (США) подготовила детальное…
MERC 2017 MERC 2017
MIT: трекер эмоций на запястье Исследовательская команда из Массачусетского технологического института (MIT) под…
Show all articles

Мы подготовим ответ и свяжемся с Вами в ближайшее время.