Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Исследователи Meta AI сегодня выпустили Openeqa, новый набор данных с открытым исходным кодом, который направлен на измерение способности системы искусственного интеллекта к «ответам воплощенного вопроса»-разрабатывая понимание реального мира, который позволяет ему отвечать на вопросы естественного языка об окружающей среде.
Набор данных, который Meta позиционирует в качестве ключевого эталона для зарождающегося поля «воплощенного искусственного интеллекта», содержит более 1600 вопросов о более чем 180 различных средах реального мира, таких как дома и офисы. Эти семь категорий вопросов, которые тщательно проверяют способности ИИ в таких навыках, как распознавание объектов и атрибутов, пространственные и функциональные рассуждения и знания здравого смысла.
«На этом фоне мы предлагаем, чтобы воплощенный ответ ответа (EQA) является как полезным конечным применением, так и средством оценки понимания агента мира»,-написали исследователи в статье, опубликованном сегодня. «Проще говоря, EQA — это задача понимания среды достаточно хорошо, чтобы ответить на вопросы на естественном языке».
Объединение робототехники, компьютерного видения и языкового искусственного интеллекта
Проект Openeqa находится на пересечении некоторых из самых горячих областей в ИИ: компьютерное зрение, обработка естественного языка, представление знаний и робототехника. Конечное видение состоит в том, чтобы развить искусственные агенты, которые могут воспринимать и взаимодействовать с миром, естественным образом общаться с людьми и использовать знания, чтобы помочь нам в нашей повседневной жизни.
Исследователи видят два основных применения для этой «воплощенной интеллекта» в ближайшей перспективе. Одним из них является помощники ИИ, встроенные в очки или гарнитуры дополненной реальности, которые могли бы опираться на видео и другие данные датчика, чтобы по сути дать пользователю фотографическую память, способную отвечать на такие вопросы: «Где я оставил свои ключи?» Другими являются мобильные роботы, которые могут автономно исследовать среду для поиска информации, например, поиск дома, чтобы ответить на вопрос «Остался ли кофе?»
Создание сложного эталона
Чтобы создать набор данных OpenEQA, мета-исследователи впервые собрали видеоданные и 3D-сканирование реальных сред. Затем они показали видео людям и попросили их генерировать вопросы, которые они могут захоть задать помощнику по искусственному искусству, который имел доступ к этим визуальным данным.
В результате 1636 вопросов тщательно проверяют широкий спектр возможностей восприятия и рассуждений. Например, чтобы ответить на вопрос: «Сколько стульев за обеденным столом?» ИИ должен был бы распознать объекты на сцене, понять пространственную концепцию «вокруг», и подсчитать количество соответствующих объектов. Другие вопросы требуют, чтобы ИИ обладал базовыми знаниями об использовании и атрибутах объектов.
Каждый вопрос также включает в себя ответы, сгенерированные несколькими людьми, чтобы объяснить тот факт, что на вопросы можно ответить разными способами. Чтобы измерить производительность агентов искусственного интеллекта, исследователи использовали большие языковые модели, чтобы автоматически оценить, насколько похож ответный ответ, сгенерированный AI для человеческих ответов.
Источник
