В Google DeepMind впервые в мире смогли чат-ботом управлять одновременно 20 роботами и 52 устройствами, передает Tengrinews.kz со ссылкой на Google DeepMind.
В Google DeepMind впервые в мире смогли чат-ботом управлять одновременно 20 роботами и 52 устройствами, передает Tengrinews.kz со ссылкой на Google DeepMind.
Исследователи DeepMind Robotics компании Google являются одной из нескольких команд, работающих над генеративным искусственным интеллектом (ИИ) в области робототехники. В своем блоге команда рассказала о текущих исследованиях, направленных на то, чтобы роботы лучше понимали, чего именно от них требуют люди.
Традиционно роботы были ориентированы на выполнение одной задачи. Они, как правило, очень хорошо справляются с одной задачей, но даже они сталкиваются с трудностями, когда в процесс вносятся изменения. Однако в DeepMind представили три новых продукта, которые помогут роботам быстрее принимать решения, а также действовать эффективнее и безопаснее, выполняя задачи в окружении людей.
How could robotics soon help us in our daily lives? 🤖
— Google DeepMind (@GoogleDeepMind) January 4, 2024
Today, we’re announcing a suite of research advances that enable robots to make decisions faster as well as better understand and navigate their environments.
Here's a snapshot of the work. 🧵 https://t.co/rqOnzDDMDI pic.twitter.com/satbbGyltI
Первое из них - система сбора данных AutoRT работает на основе визуальной языковой модели (VLM) и большой языковой модели (LLM) — они помогают роботам оценивать окружающую среду, адаптироваться к незнакомой обстановке и принимать решение о выполнении поставленных задач. VLM применяется для анализа окружающей среды и распознавания объектов в пределах видимости, а LLM отвечает за творческое выполнение задач.
🔵 The system first uses a VLM to understand its surroundings. Next, an LLM proposes creative tasks for each robot and selects which one they should perform.
— Google DeepMind (@GoogleDeepMind) January 4, 2024
In evaluations over 7 months, AutoRT safely orchestrated as many as 20 robots simultaneously across various offices. pic.twitter.com/6IKNqEOIS5
Важнейшим нововведением AutoRT стало появление в блоке LLM "Конституции роботов", направленных на безопасность команд, предписывающих машине избегать выбора задач, в которых участвуют люди, животные, острые предметы и даже электроприборы.
Кроме того, AutoRT способна управлять одновременно 20 роботами и 52 различными устройствами. В общей сложности DeepMind прошла около 77 тысяч испытаний, включающих более 6 тысяч задач.
Второй новинкой стала система SARA-RT (Self-Adaptive Robust Attention for Robotics Transformers), направленная на оптимизацию работы модели RT-2. Исследователи установили, что при удвоении входящих данных, например, повышении разрешения на камерах, потребность робота в вычислительных ресурсах возрастает вчетверо. Эту проблему удалось решить за счет нового метода тонкой настройки ИИ, получившего название up-training - этот метод обращает квадратичный рост потребности в вычислительных ресурсах почти в линейный. За этот счет модель работает быстрее, сохраняя прежнее качество.
1️⃣ Our new system SARA-RT converts Robotics Transformer models into more efficient versions using a novel method: “up-training.”
— Google DeepMind (@GoogleDeepMind) January 4, 2024
This can reduce the computational requirements needed for on-robot deployment, increasing speed while preserving quality. https://t.co/rqOnzDDMDI pic.twitter.com/wCzrSf6oBl
Еще одной новинкой является RT-Trajectory, которая использует видеоинформацию для обучения роботов.
2️⃣ The RT-Trajectory model learns how to follow instructions by automatically adding visual outlines that describe robot motions to its training.
— Google DeepMind (@GoogleDeepMind) January 4, 2024
It takes videos in a dataset and overlays it with a 2D trajectory sketch of the robot arm’s gripper as it performs the task. pic.twitter.com/9robOqkMij
Многие разработчики изучают возможность использования видеороликов на YouTube для обучения роботов, но RT-Trajectory накладывает на каждое видео из обучающего набора данных 2D-эскиз траектории движения робота при выполнении задания. Эти траектории в виде RGB-изображений обеспечивают практические визуальные подсказки для модели в процессе обучения управления роботом.
Ранее Tesla показала усовершенствованного человекоподобного робота.
Наши новости теперь в WhatsApp! Подписывайтесь на наш канал в самом популярном мессенджере