Исследователи из Института искусственного интеллекта AIRI, МФТИ и Центра робототехники Сбера представили AmbiK — крупнейший в мире открытый набор данных, созданный специально для проверки, как робототехнические системы интерпретируют двусмысленные и неполные инструкции. Он включает в себя 2 тысячи бытовых задач с пометками по типу неоднозначности — от предпочтений до безопасности.
Для человека фраза «Принеси что-нибудь попить» кажется банальной. Мы интуитивно учитываем контекст: кто просит, какое время суток, какие напитки в холодильнике. Для ИИ это — набор неясностей. Одни системы начинают переспрашивать по каждому пункту, другие — действуют наугад, что в быту может быть неудобно или даже опасно.
AmbiK классифицирует типы неопределенности на три ключевые категории:
общие знания о мире и контекст (Что вообще считается «напитком»? Чай? Вода? Молоко?);
предположения о предпочтениях человека (Например, мама обычно пьет чай без сахара);
соображения безопасности (Не стоит приносить кипяток ребенку. Лучше остудить воду).
Набор данных позволяет тестировать, как ИИ справляется с пониманием команд: когда стоит переспрашивать, а когда можно действовать самостоятельно. Исследование показало, что даже самые передовые модели правильно определяли необходимость уточнения лишь в 20% случаев.
Кроме того, AmbiK содержит и многошаговые инструкции — редкость для подобных наборов. Это позволяет анализировать, на каком этапе плана действия у ИИ возникает затруднение.
Датасет пригоден не только для оценки распознавания нечетких команд, но и для систем, занимающихся планированием поведения.
AmbiK открыт для научного сообщества и индустрии. Его текстовая структура позволяет использовать данные без привязки к визуальной информации — например, для тестирования языковых моделей.
Разработка такого бенчмарка — важный шаг к созданию ИИ-помощников, способных понимать пользователей интуитивно. Ведь умный ассистент — это не только о вычислительной мощности, но и о здравом смысле.
Ранее мы рассказывали, что для людей с зависимостью от ИИ-чатов придумали название.
