Как Themis AI из MIT делает ИИ более надежным и безопасным

Исследователи из MIT нашли способ помочь искусственному интеллекту понимать границы собственных знаний. Их система позволяет ИИ распознавать ошибки до того, как они приведут к серьезным последствиям.

Themis AI не просто улучшает точность ИИ, а вводит принципиально новую парадигму: машина начинает осознавать границы своей компетентности. Это приближает ИИ к человеческому уровню саморефлексии — способности признать: «я не знаю» — и тем самым предотвращать катастрофические ошибки

Источник: Unsplash

Работа вышла в MIT News и описывает платформу Capsa, разработанную компанией Themis AI — спин-оффом Массачусетского технологического института. Эта система выявляет, когда модель машинного обучения «не уверена» в своем ответе. Capsa модифицирует работу модели так, чтобы она сама замечала слабые места — неоднозначность, неполноту или предвзятость в обработке данных — и своевременно сигнализировала об этом.

Сооснователь Themis AI и профессор MIT Даниэла Рус объясняет: Capsa помогает не только находить проблемы, но и улучшать саму модель. Такой подход может быть особенно важен в критичных сферах — от автономного вождения до разработки лекарств.

Платформа Capsa превращает любую модель в честного собеседника: она не только дает ответ, но и показывает, насколько этот ответ обоснован. Это шаг к формированию доверия между человеком и машиной в эпоху, когда нейросети все чаще выступают экспертами

Компания была основана в 2021 году Даниэлой Рус вместе с ее бывшими студентами Александром Амини и Элахе Ахмади. С тех пор они внедрили Capsa в телекоммуникациях, нефтегазовой промышленности и при создании более надежных чат-ботов. Один из ключевых кейсов — помощь фармацевтам в выявлении недостатков в прогнозах эффективности лекарств, что позволяет ускорить отбор кандидатов на новые препараты.

Capsa универсальна: ее можно использовать с любой моделью машинного обучения, включая большие языковые модели, LLM. Система сообщает, насколько уверен ИИ в каждом конкретном ответе. Это особенно важно для компаний, которые создают ИИ, работающий за пределами облака — например, на смартфонах или встраиваемых системах. В таких условиях важны и надежность, и экономия ресурсов.

По словам технического директора компании Стюарта Джеймисона, Capsa помогает даже в так называемой «цепочке рассуждений», когда ИИ объясняет ход своих мыслей. Система указывает, какие этапы вызывают сомнения, позволяя сосредоточиться на наиболее обоснованных рассуждениях.

Themis AI фокусируется не на создании еще более мощных моделей, а на усилении надежности уже существующих. Это стратегический сдвиг в развитии ИИ: вместо гонки за параметрами — работа с уверенностью и прозрачностью, особенно на периферийных устройствах и в чувствительных сферах

Источник: Unsplash

Авторы проекта подчеркивают: цель Themis AI — не просто развитие ИИ, а создание доверия к нему. По мере того, как нейросети становятся частью повседневной жизни, особенно важно, чтобы они не только давали ответы, но и признавали свои ограничения.

Кстати, идеи Themis AI перекликаются с другим направлением развития ИИ — тем, как нейросети могут взять на себя рутину и стать полноценными помощниками в повседневной жизни. Один из примеров — работа Google над инструментом, который разберется с вашей почтой и сам напишет ответы в вашем стиле — об этом вы можете узнать в этой статье.