С развитием технологий виртуальной (VR) и дополненной реальности (AR) звук играет ключевую роль в создании убедительных цифровых миров. Однако до сих пор оставалось неясным, как именно люди определяют направление взгляда говорящего, основываясь только на звуке. Новое исследование японских ученых проливает свет на этот вопрос, раскрывая, что громкость и спектральные характеристики голоса помогают слушателям понять, куда направлен взгляд собеседника.
Исследование проводилось командой специалистов из Софийского университета, расположенного в Японии, и сотрудниками научно-исследовательской лаборатории NHK. В эксперименте участникам предлагалось определить направление взгляда говорящего, прослушивая аудиозаписи. В первом тесте использовались записи с разной громкостью, а во втором — с постоянной. Результаты показали, что громкость является основным ориентиром, но даже при ее отсутствии люди могут опираться на спектральные изменения в звуке.
Мы обнаружили, что люди в первую очередь полагаются на громкость, но даже без нее могут использовать акустические подсказки, такие как распределение частот в голосе. Это означает, что человеческий слух способен улавливать тонкие изменения в звуке, которые зависят от положения головы говорящего.
Полученные данные особенно важны для разработчиков VR и AR-приложений. Современные устройства, такие как Meta Quest 3 и Apple Vision Pro, активно используют пространственный звук, чтобы усилить погружение. Точная передача голоса в таких системах может сделать виртуальные встречи, игры и образовательные программы более реалистичными.
Улучшение аудиовосприятия важно не только для развлечений, но и для телемедицины, дистанционного обучения и виртуальных переговоров. Кроме того, открытие имеет значение для людей с нарушениями зрения, которые особенно зависят от слуховых сигналов. Более точная передача направления голоса в цифровых пространствах может сделать технологии доступнее.
Ранее в Бразилии разработали носимую систему, которая помогает людям с нарушением зрения безопаснее перемещаться. Она фиксирует препятствия и передает информацию через вибрации — прямо в ремни рюкзака.