В статье рассмотрено управление манипуляторами в неструктурированных средах методами глубокого обучения с подкреплением. Обоснованы ограничения классических подходов и предложена гибридная архитектура, сочетающая DRL и импедансное управление для безопасного контакта. Проанализированы проблемы переноса политик из симуляции в реальный мир и даны рекомендации по выбору алгоритмов с учетом вычислительных ресурсов бортовых систем.
глубокое обучение с подкреплением, роботизированный манипулятор, неструктурированная среда, импедансное управление, функция вознаграждения, сервисная робототехника
Быстрое развитие сервисной робототехники привело к тому, что роботы-манипуляторы все чаще покидают ограничения структурированных промышленных цехов и выходят в офисы, больницы, склады и домашние хозяйства. В отличие от заводских линий, где положение объектов строго фиксировано, а окружающая среда предсказуема, сервисные роботы сталкиваются с неструктурированными средами. Здесь объекты могут иметь произвольную форму, массу и коэффициент трения, а их расположение меняется случайным образом. Кроме того, часто требуется физическое взаимодействие с людьми или хрупкими предметами, что накладывает жесткие ограничения на силы и моменты, возникающие в контакте [1].
Традиционные методы управления, такие как ПИД-регуляторы или алгоритмы планирования траекторий, требуют наличия точной кинематической и динамической модели робота и среды.
В этом контексте глубокое обучение позволяет агенту самостоятельно обучаться оптимальной стратегии поведения через взаимодействие со средой, такой подход не требует программирования каждого движения, однако применение DRL в реальной робототехнике сопряжено с рядом трудностей.
Целью данной работы является обзор существующих методов применения DRL для управления манипуляторами, анализ ключевых алгоритмов и архитектур, а также рассмотрение путей преодоления барьера между симуляцией и реальностью.
Задача управления манипулятором в рамках DRL формализуется как процесс принятия решений Маркова, описываемый кортежем
, где
– пространство состояний,
– пространство действий,
– функция перехода вероятностей,
– функция вознаграждения,
– коэффициент дисконтирования будущих наград [2].
Для манипулятора состояние
обычно включает углы в суставах, угловые скорости, данные с датчиков усилия/момента и визуальную информацию. Действие
представляет собой приращения углов или целевые положения суставов. Функция вознаграждения
конструируется инженером таким образом, чтобы поощрять успешное выполнение задачи и штрафовать за нежелательные события.
Одной из главных сложностей является проектирование функции вознаграждения. Слишком простые функции приводят к тому, что робот находит «лазейки» в правилах, выполняя задачу некорректным способом. Слишком сложные функции трудно настраивать, и они могут приводить к нестабильности обучения. [3]
Обучение непосредственно на физическом роботе занимает недели или месяцы и несет риск поломки дорогостоящего оборудования. Поэтому большинство современных подходов предполагают предварительное обучение в симуляторе. Однако перенос политики, обученной в идеализированной симуляции, в реальный мир часто терпит неудачу из-за «разрыва реальности». Различия в трении, массе звеньев, люфтах редукторов и задержках сенсоров приводят к тому, что действия, оптимальные в симуляции, становятся неэффективными или опасными в реальности [4].
Для преодоления этой проблемы применяются методы доменной рандомизации. Во время обучения в симуляции параметры среды случайным образом изменяются в широких пределах. Это заставляет агента учиться инвариантным признакам и стратегиям, которые работают в широком спектре условий, повышая его робастность при переносе на реального робота.
В неструктурированной среде робот должен исследовать новые действия, чтобы найти оптимальную стратегию. Однако случайные движения манипулятора могут привести к столкновению с человеком или повреждению объекта. Для обеспечения безопасности используются методы ограниченного исследования, такие как добавление штрафных вознаграждений за близость к препятствиям или использование барьерных сертификатов, которые математически гарантируют, что система не войдет в небезопасное состояние [5].
Также перспективным направлением является использование экспертных демонстраций. Предварительное обучение сети на наборе данных, собранных оператором-человеком, позволяет задать начальную точку для политики DRL, сокращая время обучения и снижая количество опасных действий на ранних этапах [6].
Чистое позиционное управление, часто выдаваемое политиками DRL, плохо подходит для задач, требующих силового взаимодействия. В таких случаях целесообразно использовать гибридные архитектуры.
Объединяя DRL с интеллектуальным импедансным управлением. В этой схеме нейросеть не выдает напрямую положения суставов, а адаптирует параметры импеданса в реальном времени в зависимости от состояния среды. Это позволяет роботу быть «мягким» при контакте с непредвиденными препятствиями и «жестким» при выполнении точных движений. Такой подход значительно повышает безопасность и естественность поведения сервиса робота при взаимодействии с людьми. [7]
Аналогичным образом, агент DRL учится сначала менять конфигурацию объектов в куче путем толкания, чтобы сделать их доступными для захвата. Это демонстрирует способность DRL решать многоэтапные задачи манипуляции, которые трудно запрограммировать вручную. [8]
В таблице 1 приведено сравнение различных стратегий управления манипуляторами в неструктурированных средах.
Таблица 1 – Сравнительная характеристика методов управления
|
Метод |
Требование к модели среды |
Адаптивность к изменениям |
Безопасность контакта |
Сложность настройки |
|
Классическое позиционное (PID) |
Высокая |
Низкая |
Низкая |
Средняя |
|
Планирование траекторий (RRT*) |
Высокая |
Средняя |
Средняя |
Высокая |
|
Чистое DRL (End-to-End) |
Низкая |
Высокая |
Низкая (требует штрафов) |
Очень высокая |
|
Гибридное (DRL + Impedance) |
Низкая |
Высокая |
Высокая |
Высокая |
|
Обучение с демонстрациями (LfD) |
Низкая |
Средняя |
Средняя |
Средняя |
Как видно из таблицы, гибридные подходы предлагают наилучший баланс между адаптивностью и безопасностью.
Применение глубокого обучения с подкреплением открывает новые возможности для создания автономных сервисных роботов, способных действовать в сложных, неструктурированных средах. Отказ от жестких математических моделей в пользу самообучающихся политик позволяет роботам адаптироваться к разнообразию объектов и условий, с которыми они сталкиваются в реальной жизни.
Ключевыми направлениями дальнейших исследований являются:
1. Повышение эффективности переноса навыков из симуляции в реальность через улучшение методов доменной рандомизации и мета-обучения.
2. Разработка безопасных алгоритмов исследования, гарантирующих отсутствие повреждений при обучении на физических системах.
3. Создание стандартизированных бенчмарков и сред для оценки прогресса в области манипуляции, что ускорит обмен знаниями между исследовательскими группами.
4. Интеграция больших языковых моделей (LLM) с DRL для высокоуровневого планирования задач, где LLM разбивает абстрактную команду на последовательность примитивов, выполняемых политикой DRL.
Гибридные архитектуры, сочетающие гибкость нейросетей с надежностью классических методов контроля, представляют собой наиболее перспективный путь к созданию роботов, способных безопасно и эффективно помогать человеку в повседневной жизни.
1. Хан Д., Муляна Б., Станкович В., Ченг С. Обзор алгоритмов глубокого обучения с подкреплением для роботизированных манипуляций // СЕНСОРЫ. – 2023. – № 7, Том 23. – С. 3762. – DOI:https://doi.org/10.3390/s23073762. EDN: https://elibrary.ru/NWRUPC
2. Высоцкая, И. А. Обоснование информационно-интеллектуальной поддержки принципов действия технических систем / И. А. Высоцкая // Моделирование систем и процессов. – 2024 – Т. 17, № 1. – С. 19-26. – DOIhttps://doi.org/10.12737/2219-0767-2024-17-1-19-26. – EDN DCEATL.
3. Высоцкая, И. А. Обоснование методов поиска принципов действия сложных технических систем и объектов / И. А. Высоцкая // Моделирование систем и процессов. – 2024 – Т. 17, № 1. – С. 27-34. – DOIhttps://doi.org/10.12737/2219-0767-2024-17-1-27-34. – EDN GASZOW.
4. Чен У., Вонг К.К.Л., Лонг С., Сун Чжоу. Относительная энтропия корректных алгоритмов оптимизации проксимальной политики с модифицированным штрафным коэффициентом в сложной среде // Entropy. – 2022. – № 4, Том 24. – С. 440. – DOI:https://doi.org/10.3390/e24040440. EDN: https://elibrary.ru/BOREGM
5. Феррейра Х.С., Барбоза Р. Глубокое обучение с подкреплением для адаптивного роботизированного захвата и манипулирования после захвата в моделируемых динамических средах // Интернет будущего. – 2025. – № 10, том 17. – С. 437. – DOI:https://doi.org/10.3390/fi17100437.
6. Лю Дж., Яп Х. Дж., Хайруддин А.С. Планирование траектории движения робота-манипулятора в динамических средах на основе метода глубокого обучения с подкреплением // Журнал интеллектуальных и робототехнических систем. – 2024. – № 1, Том 111. – С. 3. – DOI:https://doi.org/10.1007/s10846-024-02205-0.
7. Шао Х., Ху У., Ян Ли., Ван У., Сузуки С., Гао Ж. Интеллектуальная импедансная стратегия для силового управления роботизированными манипуляторами в неизвестных условиях с помощью глубокого обучения с подкреплением под руководством эксперта // Процессы. – 2025. – № 8, Том 13. – С. 2526. – DOI:https://doi.org/10.3390/pr13082526. EDN: https://elibrary.ru/APFEKQ
8. Шиферау Б.А., Агидью Т.Ф., Альзахрани А.С., Шринивасаган Р. Синергетическое подталкивание и хватание для улучшения манипуляций роботами с использованием глубокого обучения с подкреплением // Приводы. – 2024. – № 8, Том 13. – С. 316. – DOI:https://doi.org/10.3390/act13080316.



