Ученые из Университета Канзаса выяснили, почему людям бывает сложно читать по губам и какие ошибки при этом возникают. Ученые подошли к вопросу необычно: вместо того чтобы изучать, как слова звучат, они сосредоточились на том, как они выглядят — на движениях губ, челюсти и рта. Для этого исследователи создали визуальную карту примерно из 20 000 английских слов, размещая рядом похожие внешне, и дальше друг от друга — отличающиеся. Такие визуальные единицы ученые называют «виземами».
Оказалось, что ошибки при чтении по губам не случайны: люди чаще путают слово с более распространенным, а если у какого‑то слова много «двойников» по внешнему виду, распознать его становится труднее. Примерно треть английских слов при произнесении визуально похожи хотя бы на одно другое слово, из‑за чего возникают сложности. Например, слова «vet», «fit» и «fuzz» не очень похожи по звучанию, но при взгляде на лицо говорящего их легко перепутать.
Результаты работы могут пригодиться в разных сферах: их можно использовать, чтобы эффективнее обучать тех, кто работает с чтением по губам, а также улучшить системы автоматической транскрипции, например, в видеоконференциях.
Ранее Наука Mail рассказывала о том, что роботов научили реалистично двигать губами.
