Почему роботы проливают воду: двухэтапное ИИ-решение для захвата под конкретную задачу
We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.
Робототехника давно сталкивается с проблемой несоответствия между способностью захватывать объект и выполнением последующих действий. Традиционные системы легко находят множество вариантов хвата, опираясь только на геометрию. Но они часто выбирают позу, которая мешает дальнейшим действиям. Представьте робота, который идеально держит чайник, но не может налить воду из-за неверного угла наклона ручки. Новое двухэтапное решение разделяет генерацию хвата и семантический анализ. Это значительно повышает точность выбора при выполнении конкретных задач.
Архитектура решает проблему в два этапа. На первом этапе модель Vision-Language (VLM) определяет функциональные зоны на RGB-D изображении. Эти данные направляют сегментацию и генерацию реалистичных кандидатов на захват с шестью степенями свободы через систему GraspNet. В результате получаем набор предложений, которые геометрически корректны и привязаны к нужным функциональным участкам объекта. На втором этапе структурированный критик на базе VLM ранжирует эти кандидаты. Оценка проводится по совместимости с задачей, а не только по геометрическим показателям. Такой ограниченный подход предотвращает появление хаотичных поз. Система выбирает лишь из проверенного списка идентификаторов.
Масштабные испытания на физическом стенде включали 60 полных циклов работы. Общий процент успешного выполнения задач составил 63,3%. Тестирование охватывало случайное перемещение объектов, удары молотком и наливание жидкости. Контрольные эксперименты показали сильную зависимость результата от выбранной модели VLM. Для локализации на первом этапе лучшим оказался Gemini 3 Flash Preview. Он обеспечил точность 95,0% при минимальной задержке. Для ранжирования на втором этапе превосходно зарекомендовал себя GPT-5.6 Sol. Он показал 92,9% успешных попыток в первой позиции и наибольшую стабильность при повторных запусках.
Исследование подчеркивает, что завершение физической задачи и поведение конкретной модели отражают разные аспекты надежности системы. Анализ чувствительности выявил, что изменения во входных данных могут повлиять на итоговый выбор хвата. Это доказывает необходимость совместной оценки обоих этапов. Разделение семантического анализа и проверки кандидатов создает четкую основу для оценки роботизированных систем на базе VLM. Методология выходит за рамки простых метрик успеха. Она помогает понять причины удачи или неудачи решений. Этот подход предлагает масштабируемый путь для внедрения высокоуровневого мышления в низкоуровневый контроль роботов. Он гарантирует, что роботы не просто берут предметы, но делают это так, как требуют сложные человеческие инструкции.