Исследование, опубликованное на сервере препринтов arXiv, представляет собой важное достижение в области 3D-моделирования. Ученые из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) создали систему TactStyle, которая позволяет стилизовать 3D-модели с учетом не только их визуальных характеристик, но и тактильных свойств текстур. Эта новая технология предоставляет возможности для создания более реалистичных и ощущаемых объектов, что особенно важно для таких областей, как промышленный дизайн, образование и прототипирование.
Существующие инструменты для 3D-моделирования используют текстовые или графические подсказки, чтобы задать внешний вид объектов — цвет и форму. Однако такие системы часто ограничены в своей реалистичности, поскольку не учитывают тактильные свойства, которые являются неотъемлемой частью восприятия физических объектов. Для многих людей важным элементом взаимодействия с окружающим миром является ощущение текстуры: шероховатость, бугристость или чувство материалов, таких как дерево или камень.
Система TactStyle разработана для того, чтобы воспроизводить не только визуальные, но и тактильные качества текстур на основе изображения. Используя передовые методы искусственного интеллекта, TactStyle разделяет визуальную стилизацию и геометрическую стилизацию, позволяя создать 3D-модели, которые точнее отражают как внешний вид, так и ощущения от материалов, изображенных на исходных картинках.
Такой подход открывает широкий спектр применений. Например, в дизайне можно не только изменить внешний вид моделей, но и интегрировать в них тактильные особенности, которые важны для использования в реальной жизни. В области образования эта технология может позволить учащимся исследовать текстуры различных материалов, не покидая классной комнаты. В промышленности система помогает ускорить процесс разработки и создания прототипов, что существенно упрощает итерации и улучшения.
Традиционные методы, используемые для репликации текстур, включают специализированные тактильные сенсоры, такие как GelSight, разработанный в MIT, которые физически касаются объекта для захвата его микрогеометрии. Однако эти методы требуют наличия физического объекта или его записи. В отличие от этого, TactStyle позволяет воспроизводить микрогеометрию поверхности, используя генеративный искусственный интеллект, который создает «высотное поле» непосредственно из изображения текстуры.
Кроме того, традиционные методы модификации 3D-моделей требуют глубоких технических знаний, чтобы внести изменения в уже существующие проекты. TactStyle решает эту проблему, позволяя пользователям настраивать скачанные модели, такие как подставки для наушников, с учетом нужных текстур и стилей без риска повредить их функциональность.
Эксперименты с системой показали значительные улучшения по сравнению с традиционными методами стилизации, демонстрируя точные корреляции между визуальным изображением текстуры и ее высотным полем. Один из психофизических экспериментов показал, что пользователи воспринимают текстуры, созданные с помощью TactStyle, как сходные с ожидаемыми тактильными свойствами и текстурами оригинала, создавая единый опыт для визуальных и тактильных восприятий.
Теперь ученые планируют расширить возможности TactStyle, чтобы создавать новые 3D-модели со встроенными текстурами, используя генеративный искусственный интеллект. Это потребует создания нового конвейера, который будет точно повторять как форму, так и функции создаваемых моделей, а также исследовать так называемые «визуально-тактильные несоответствия» для создания новых опытов с материалами, которые нарушают привычные ожидания, например, когда объект, выглядящий как мрамор, будет ощущаться как дерево.
Пока одни разрабатывают инструменты для создания 3D-моделей с реальными тактильными ощущениями, другие работают над технологиями для восприятия запахов и выявления опасных веществ с помощью «умного носа», о чем вы можете прочитать в этой работе.
