УДК 681.5 УДК 004.85
ПРИМЕНЕНИЕ ГЛУБОКОГО ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ ДЛЯ УПРАВЛЕНИЯ МАНИПУЛЯТОРАМИ СЕРВИСНЫХ РОБОТОВ В НЕСТРУКТУРИРОВАННЫХ СРЕДАХ
Аннотация:
В статье рассмотрено управление манипуляторами в неструктурированных средах методами глубокого обучения с подкреплением. Обоснованы ограничения классических подходов и предложена гибридная архитектура, сочетающая DRL и импедансное управление для безопасного контакта. Проанализированы проблемы переноса политик из симуляции в реальный мир и даны рекомендации по выбору алгоритмов с учетом вычислительных ресурсов бортовых систем.

Ключевые слова:
глубокое обучение с подкреплением, роботизированный манипулятор, неструктурированная среда, импедансное управление, функция вознаграждения, сервисная робототехника
Текст (PDF): Читать Скачать

Быстрое развитие сервисной робототехники привело к тому, что роботы-манипуляторы все чаще покидают ограничения структурированных промышленных цехов и выходят в офисы, больницы, склады и домашние хозяйства. В отличие от заводских линий, где положение объектов строго фиксировано, а окружающая среда предсказуема, сервисные роботы сталкиваются с неструктурированными средами. Здесь объекты могут иметь произвольную форму, массу и коэффициент трения, а их расположение меняется случайным образом. Кроме того, часто требуется физическое взаимодействие с людьми или хрупкими предметами, что накладывает жесткие ограничения на силы и моменты, возникающие в контакте [1].

Традиционные методы управления, такие как ПИД-регуляторы или алгоритмы планирования траекторий, требуют наличия точной кинематической и динамической модели робота и среды.

В этом контексте глубокое обучение позволяет агенту самостоятельно обучаться оптимальной стратегии поведения через взаимодействие со средой, такой подход не требует программирования каждого движения, однако применение DRL в реальной робототехнике сопряжено с рядом трудностей.

Целью данной работы является обзор существующих методов применения DRL для управления манипуляторами, анализ ключевых алгоритмов и архитектур, а также рассмотрение путей преодоления барьера между симуляцией и реальностью.

Задача управления манипулятором в рамках DRL формализуется как процесс принятия решений Маркова, описываемый кортежем SAPRγ , где S  – пространство состояний, A  – пространство действий, P  – функция перехода вероятностей, R  – функция вознаграждения, γ  – коэффициент дисконтирования будущих наград [2].

Для манипулятора состояние st∈S  обычно включает углы в суставах, угловые скорости, данные с датчиков усилия/момента и визуальную информацию. Действие at∈A  представляет собой приращения углов или целевые положения суставов. Функция вознаграждения R(st,at)  конструируется инженером таким образом, чтобы поощрять успешное выполнение задачи и штрафовать за нежелательные события.

Одной из главных сложностей является проектирование функции вознаграждения. Слишком простые функции приводят к тому, что робот находит «лазейки» в правилах, выполняя задачу некорректным способом. Слишком сложные функции трудно настраивать, и они могут приводить к нестабильности обучения. [3]

Обучение непосредственно на физическом роботе занимает недели или месяцы и несет риск поломки дорогостоящего оборудования. Поэтому большинство современных подходов предполагают предварительное обучение в симуляторе. Однако перенос политики, обученной в идеализированной симуляции, в реальный мир часто терпит неудачу из-за «разрыва реальности». Различия в трении, массе звеньев, люфтах редукторов и задержках сенсоров приводят к тому, что действия, оптимальные в симуляции, становятся неэффективными или опасными в реальности [4].

Для преодоления этой проблемы применяются методы доменной рандомизации. Во время обучения в симуляции параметры среды случайным образом изменяются в широких пределах. Это заставляет агента учиться инвариантным признакам и стратегиям, которые работают в широком спектре условий, повышая его робастность при переносе на реального робота.

В неструктурированной среде робот должен исследовать новые действия, чтобы найти оптимальную стратегию. Однако случайные движения манипулятора могут привести к столкновению с человеком или повреждению объекта. Для обеспечения безопасности используются методы ограниченного исследования, такие как добавление штрафных вознаграждений за близость к препятствиям или использование барьерных сертификатов, которые математически гарантируют, что система не войдет в небезопасное состояние [5].

Также перспективным направлением является использование экспертных демонстраций. Предварительное обучение сети на наборе данных, собранных оператором-человеком, позволяет задать начальную точку для политики DRL, сокращая время обучения и снижая количество опасных действий на ранних этапах [6].

Чистое позиционное управление, часто выдаваемое политиками DRL, плохо подходит для задач, требующих силового взаимодействия. В таких случаях целесообразно использовать гибридные архитектуры.

Объединяя DRL с интеллектуальным импедансным управлением. В этой схеме нейросеть не выдает напрямую положения суставов, а адаптирует параметры импеданса в реальном времени в зависимости от состояния среды. Это позволяет роботу быть «мягким» при контакте с непредвиденными препятствиями и «жестким» при выполнении точных движений. Такой подход значительно повышает безопасность и естественность поведения сервиса робота при взаимодействии с людьми. [7]

Аналогичным образом, агент DRL учится сначала менять конфигурацию объектов в куче путем толкания, чтобы сделать их доступными для захвата. Это демонстрирует способность DRL решать многоэтапные задачи манипуляции, которые трудно запрограммировать вручную. [8]

В таблице 1 приведено сравнение различных стратегий управления манипуляторами в неструктурированных средах.

 

Таблица 1 – Сравнительная характеристика методов управления

Метод

Требование к модели среды

Адаптивность к изменениям

Безопасность контакта

Сложность

настройки

Классическое позиционное (PID)

Высокая

Низкая

Низкая

Средняя

Планирование траекторий (RRT*)

Высокая

Средняя

Средняя

Высокая

Чистое DRL (End-to-End)

Низкая

Высокая

Низкая (требует штрафов)

Очень высокая

Гибридное (DRL + Impedance)

Низкая

Высокая

Высокая

Высокая

Обучение с демонстрациями (LfD)

Низкая

Средняя

Средняя

Средняя

 

Как видно из таблицы, гибридные подходы предлагают наилучший баланс между адаптивностью и безопасностью.

Применение глубокого обучения с подкреплением открывает новые возможности для создания автономных сервисных роботов, способных действовать в сложных, неструктурированных средах. Отказ от жестких математических моделей в пользу самообучающихся политик позволяет роботам адаптироваться к разнообразию объектов и условий, с которыми они сталкиваются в реальной жизни.

 

 

Ключевыми направлениями дальнейших исследований являются:

1. Повышение эффективности переноса навыков из симуляции в реальность через улучшение методов доменной рандомизации и мета-обучения.

2. Разработка безопасных алгоритмов исследования, гарантирующих отсутствие повреждений при обучении на физических системах.

3. Создание стандартизированных бенчмарков и сред для оценки прогресса в области манипуляции, что ускорит обмен знаниями между исследовательскими группами.

4. Интеграция больших языковых моделей (LLM) с DRL для высокоуровневого планирования задач, где LLM разбивает абстрактную команду на последовательность примитивов, выполняемых политикой DRL.

Гибридные архитектуры, сочетающие гибкость нейросетей с надежностью классических методов контроля, представляют собой наиболее перспективный путь к созданию роботов, способных безопасно и эффективно помогать человеку в повседневной жизни.

1. Хан Д., Муляна Б., Станкович В., Ченг С. Обзор алгоритмов глубокого обучения с подкреплением для роботизированных манипуляций // СЕНСОРЫ. – 2023. – № 7, Том 23. – С. 3762. – DOI:https://doi.org/10.3390/s23073762. EDN: https://elibrary.ru/NWRUPC

2. Высоцкая, И. А. Обоснование информационно-интеллектуальной поддержки принципов действия технических систем / И. А. Высоцкая // Моделирование систем и процессов. – 2024 – Т. 17, № 1. – С. 19-26. – DOIhttps://doi.org/10.12737/2219-0767-2024-17-1-19-26. – EDN DCEATL.

3. Высоцкая, И. А. Обоснование методов поиска принципов действия сложных технических систем и объектов / И. А. Высоцкая // Моделирование систем и процессов. – 2024 – Т. 17, № 1. – С. 27-34. – DOIhttps://doi.org/10.12737/2219-0767-2024-17-1-27-34. – EDN GASZOW.

4. Чен У., Вонг К.К.Л., Лонг С., Сун Чжоу. Относительная энтропия корректных алгоритмов оптимизации проксимальной политики с модифицированным штрафным коэффициентом в сложной среде // Entropy. – 2022. – № 4, Том 24. – С. 440. – DOI:https://doi.org/10.3390/e24040440. EDN: https://elibrary.ru/BOREGM

5. Феррейра Х.С., Барбоза Р. Глубокое обучение с подкреплением для адаптивного роботизированного захвата и манипулирования после захвата в моделируемых динамических средах // Интернет будущего. – 2025. – № 10, том 17. – С. 437. – DOI:https://doi.org/10.3390/fi17100437.

6. Лю Дж., Яп Х. Дж., Хайруддин А.С. Планирование траектории движения робота-манипулятора в динамических средах на основе метода глубокого обучения с подкреплением // Журнал интеллектуальных и робототехнических систем. – 2024. – № 1, Том 111. – С. 3. – DOI:https://doi.org/10.1007/s10846-024-02205-0.

7. Шао Х., Ху У., Ян Ли., Ван У., Сузуки С., Гао Ж. Интеллектуальная импедансная стратегия для силового управления роботизированными манипуляторами в неизвестных условиях с помощью глубокого обучения с подкреплением под руководством эксперта // Процессы. – 2025. – № 8, Том 13. – С. 2526. – DOI:https://doi.org/10.3390/pr13082526. EDN: https://elibrary.ru/APFEKQ

8. Шиферау Б.А., Агидью Т.Ф., Альзахрани А.С., Шринивасаган Р. Синергетическое подталкивание и хватание для улучшения манипуляций роботами с использованием глубокого обучения с подкреплением // Приводы. – 2024. – № 8, Том 13. – С. 316. – DOI:https://doi.org/10.3390/act13080316.

Войти или Создать
* Забыли пароль?