Искусственный урбанист: как нейросеть превращает реальные улицы в игровые миры

Создать реалистичный город для игры — сложно, а стилизованный — еще сложнее. Российский стартап WattGrad разработал плагин для Unreal Engine, который автоматически превращает фотографии зданий в оптимизированные игровые модели. Как нейросеть упрощает жизнь гейм-девелоперам — разбираемся в материале.
Авторы и эксперты
Автор Наука Mail
CEO студии WATT, куратор проектов и преподаватель в Школе дизайна НИУ ВШЭ
Watt Studio
Watt StudioИсточник: Watt Studio
Об эксперте: Егор Томский, CEO студии WATT, куратор проектов и преподаватель на направлении «Анимация, иллюстрация, компьютерная графика» в Школе дизайна НИУ ВШЭ

В 3D-играх мы часто видим города — разрушенные мегаполисы, уютные кварталы или футуристические урбанистические ландшафты. Но почти все они создаются вручную или с помощью шаблонных генераторов. Проблема в том, что реальный город, даже оцифрованный, не подходит для игровых задач.

Цифровые двойники создаются для нужд градостроительства, а не для геймдева: они тяжеловесны, реалистичны до последней детали — и этим мешают. В играх важнее не копия, а восприятие: логика пространства, визуальные акценты, выразительная стилистика.

Что делает WattGrad

WattGrad — это инструмент для создания игровых миров, работающий на базе игрового движка Unreal Engine. Он преобразует фотографии или 3D-сканы зданий в стилизованные игровые версии. Нейросеть анализирует снимок: определяет этажность, форму окон, стиль фасада, тип крыши и другие особенности. Затем система подбирает подходящие элементы из библиотеки и собирает новое здание — визуально близкое к оригиналу, но адаптированное под игру.

Мы создаем процедурно общее впечатление от города. Улица похожа на московскую — шириной тротуара, ритмом домов, их стилем.
Егор Томский
основатель проекта

Цель — передать «впечатление узнаваемости», а не повторить объект в точности. Это позволяет варьировать стиль — от мультяшной простоты до почти реалистичного урбанизма.

Почему это не CityEngine

Хотя на рынке уже есть решения вроде CityEngine, WattGrad работает по-другому. В традиционных генераторах разработчик сам задает параметры зданий, уличной сетки и архитектурных стилей. Это требует погружения в контекст города и ручной настройки.

Иллюстрация сгенерированного города в CityEngine
Иллюстрация сгенерированного города в CityEngineИсточник: CityEngin

Плагин российских разработчиков снимает это с пользователя: достаточно загрузить фотографии, и система создаст обстановку с нужной плотностью, архитектурной логикой и стилизацией. Особенно это важно при создании сцен из городов, в которых дизайнер никогда не был.

Стилистика и производительность

WattGrad умеет адаптироваться под визуальные особенности игры. В проекте Plushes — казуальной игре со стилизованной графикой — используется облегченная геометрия, намеренно упрощенная для повышения производительности.

Визуальный стиль Plushes
Визуальный стиль PlushesИсточник: Watt Studio
Наша фишка — это суперлегкие модельки. Мы намеренно ушли в сторону казуальности и низкополигональности.
Егор Томский
основатель проекта

Где уже используется

Первым проектом, где система будет применена на практике, стала игра Plushes. Это захватывающий приключенческий экшен с элементами метроидвании, действия которого происходят на улицах Москвы. Именно здесь плагин используется для генерации игровых городов: адаптированных под стиль, оптимизированных по весу и близких к реальности по впечатлению. Демоверсия Plushes планируется к выходу в конце лета, а финальный релиз — до конца 2025 года.

В другом проекте студии — фэнтезийной игре «Царевна» — технология WattGrad не применяется. Там используются стандартные инструменты процедурной генерации, доступные в Unreal Engine, и этого достаточно.

Причина простая: плагин нужен тогда, когда игрок должен узнать в сцене нечто реальное или правдоподобное. Город — это пространство, в котором у человека есть опыт. Игрок почти всегда был в каком-нибудь городе — а значит, сразу считывает несоответствия. Поэтому сцены городской застройки требуют особой выразительности и структурной логики.

Создать пещеру — легко. Игроку все понравится. А вот с городом — он сразу скажет: «Что-то не то».
Егор Томский
основатель проекта

Как это работает под капотом

WattGrad работает на базе PCG-системы (Procedural Content Generation) Unreal Engine, но дополняется собственной нейросетевой моделью. Архитектура проекта вдохновлена подходами, применяемыми в LLM, но адаптирована под задачи анализа визуальных образов.

Скриншот из PCG‑системы на UE: генерация улиц и зданий по заранее настроенным правилам, включая деревья и перекрестки
Скриншот из PCG‑системы на UE: генерация улиц и зданий по заранее настроенным правилам, включая деревья и перекресткиИсточник: Unreal Engine

Особый класс задач — это интерпретация визуально неоднозначных или перегруженных деталей. Рекламные щиты, стеклянные витрины, отражающие поверхности и вывески могут сбивать модель с толку, заставляя ее принимать их за часть архитектуры.

Визуализация процедурной генерации города на PCG в виде точечной сетки (point cloud)
Визуализация процедурной генерации города на PCG в виде точечной сетки (point cloud)Источник: Unreal Engine
Витрина может казаться окном, а холодильник внутри — частью фасада. Такие ошибки случаются, но мы умеем их обрабатывать.
Егор Томский
основатель проекта
Пример сегментации окон на фасаде: модель корректно находит часть окон, но другие — путает с витринами или полностью игнорирует. Такие ошибки часто возникают из-за бликов и отражений на стекле
Пример сегментации окон на фасаде: модель корректно находит часть окон, но другие — путает с витринами или полностью игнорирует. Такие ошибки часто возникают из-за бликов и отражений на стеклеИсточник: Research Gate

Подобные случаи представляют собой технически сложную проблему, над которой команда продолжает работать.

Гауссовский сплейтинг и будущее генерации

Сейчас команда WattGrad уделяет особое внимание зданиям со стеклянными фасадами и отражающими поверхностями — как у небоскребов или торговых центров. Их сложная визуальная структура требует точной обработки: нейросеть анализирует глубину изображения, выделяет контуры архитектурных элементов и корректно распознает отражения на стекле, не путая их с самим зданием.

Гладкое стекло с зеркальными отражениями и алюминиевыми рамами. Такие поверхности затрудняют выделение границ и контуров, приводят к путанице между внутренним и внешним содержимым
Гладкое стекло с зеркальными отражениями и алюминиевыми рамами. Такие поверхности затрудняют выделение границ и контуров, приводят к путанице между внутренним и внешним содержимымИсточник: Unsplash

В перспективе разработчики планируют внедрить алгоритмы, которые смогут учитывать контекст и пространственную неоднозначность, чтобы различать прозрачные объекты, интерпретировать отражения в окнах и отделять реальные детали от визуального шума.

Также в фокусе разработки находится гауссовский сплейтинг (Gaussian Splatting) — современный метод рендеринга, при котором объекты описываются трехмерными точками с гауссовым распределением плотности, цвета и прозрачности.

Велосипед
Велосипед
Демонстрация, где каждая гауссиана полностью непрозрачная и Финальный рендер той же сцены

Это позволяет формировать визуально насыщенные сцены с меньшими вычислительными затратами по сравнению с традиционной мешевой геометрией.

Гауссианы — это ближайшее будущее. Tencent уже активно идет в эту сторону. Мы тоже смотрим на это очень внимательно.
Егор Томский
основатель проекта

Финансируется проект через частного инвестора. Также WattGrad получил грантовую поддержку в виде кэшбэка от Сколково — возврат части инвестиций в рамках технологического акселератора.

WattGrad задумывался как внутренний инструмент студии, заточенный под конкретные задачи в играх и мультимедийных проектах. Открытие кода или публичный релиз пока не планируются — команда хочет развивать технологию в рамках собственного творческого и технического контроля.

В то же время потенциал у инструмента огромный. Процедурная генерация на основе реальных образов и нейросетей может быть применена далеко за пределами геймдева: в архитектурной визуализации, в создании цифровых двойников, в обучающих симуляторах, в XR-сценариях.

Егор Томский с плакатом «Царевны» позади
Егор Томский с плакатом «Царевны» позадиИсточник: Watt Studio
У нас уже сейчас есть рабочий инструмент, который из фотографий собирает целые стилизованные кварталы. А дальше — только вперед. Это уже не просто ассистент, а часть художественного процесса.
Егор Томский
основатель проекта

Команда планирует продолжать развитие WattGrad — улучшать качество генерации, поддерживать новые стили, прорабатывать сложные фасады. Но главное — сохранить творческое ядро проекта: способность видеть в реальности материал для вдохновляющей виртуальности.