Ученые университета Индианы (США) предложили новый способ тренировки, который позволяет выявлять изображения, которые были сгенерированы нейросетями.
Часто подделку удается определить по дефектам в картинке, однако модели ИИ каждый месяц улучшаются, поэтому провести грань между реальностью и генерацией иногда почти невозможно. Исследователи предложили обращать внимание не на детали, а на общее впечатление. Исследование опубликовано в журнале PNAS.
Ученые создали специальный курс, который затем прошли 45 добровольцев. После этого участники эксперимента стали почти вдвое точнее выявлять подделки, а лучшие достигали 100% правильных ответов. Повторные тесты подтвердили, что это эффект обучения, а не опыта.
Эффективность такого метода для Наука Mail оценил доктор физико-математических наук, директор Центра агентных систем ИИ МФТИ Александр Безносиков. По его словам, двукратный рост точности — статистически значимый эффект, однако у исследования есть и заметные ограничения.
В частности, для генерации изображений в эксперименте использовалась всего одна модель StyleGAN3, и то не самая новая. То есть участники учились распознавать артефакты конкретного генератора, а не «дипфейк вообще».
«Если завтра выйдет новая модель, то навык, скорее всего, потребуется перенастраивать. А генеративные модели сейчас обновляются постоянно», — отметил специалист.
Кроме того, оценки изображений, скорее всего, будут субъективными для каждого испытуемого, тогда как отличие дипфейка от реального изображения является объективным. Результат можно считать статистически устойчивым благодаря тому, что субъективные измерения агрегированы по многим людям.
«Авторы не проверяли, насколько устойчив навык в долгосрочной перспективе, а это обязательный вопрос для любой системы обучения», — обратил внимание Безносиков.
Навык может быть полезен журналистам, фактчекерам, модераторам и другим специалистам, регулярно сталкивающимися с дипфейками. Такое знание может помочь избежать опасной самоуверенности и, как следствие, неприятных казусов по работе.
Что касается практической значимости, для обывателей этот навык может быть не особенно актуален. Зачастую сегодня генерируются не просто лица, а полноценные видео с окружением, для которых не было произведено исследование, поэтому утверждение, что этот навык может пригодиться — спорно
В целом, к этому исследованию стоит относиться как к доказательству принципа, а не готовому решению, подчеркнул эксперт.
Ранее Наука Mail рассказывала, что новый фреймворк помогает ИИ правильно читать презентации.