Nvidia анонсировала новый комплект моделей искусственного интеллекта, библиотек и других инструментов, предназначенных для обработки информации из внешнего мира — эти средства окажутся полезными разработчикам в области робототехники.

Одним из самых заметных нововведений стала модель машинного зрения Cosmos Reason с 7 миллиардами параметров, разработанная для роботов и других машин с ИИ. С её помощью роботы смогут рассуждать на основе памяти и знаний о физике, а также планировать свои действия. Кроме того, Nvidia представила Cosmos Transfer-2, предназначенный для генерации синтетических сцен в 3D-симуляциях. Компания также показала улучшенную версию первой Cosmos Transfer, оптимизированную для более быстрой работы.

Эти модели нацелены на создание больших массивов синтетических обучающих данных, включая текст, изображения и видео, которые могут использоваться для обучения роботов и машин с ИИ. В дополнение к этому, Nvidia анонсировала новые библиотеки для нейронной реконструкции, включая технологии прорисовки, позволяющие трёхмерное моделирование реального мира на основе данных от сенсоров. Эта функция будет интегрирована в открытый симулятор CARLA, который уже широко используется разработчиками. Также выпущено обновление пакета для разработчиков (SDK) Omniverse и представлены локальные и облачные серверные решения для задач, связанных с робототехникой.