АДАПТИВНИЙ MARL-АЛГОРИТМ ДЛЯ КЕРУВАННЯ ГРУПОЮ БПЛА В УМОВАХ ЧАСТКОВОЇ СПОСТЕРЕЖУВАНОСТІ ТА ПОРУШЕНЬ КОМУНІКАЦІЙ

Анотація

У статті досліджено проблему ефективного керування групою безпілотних літальних апаратів в умовах часткової спостережуваності, нестабільності каналів зв’язку, затримок передавання даних, втрат пакетів і неповноти інформації, що істотно ускладнюють підтримання узгодженої поведінки агентів у динамічному середовищі. У розділі постановки проблеми обґрунтовано актуальність теми з огляду на розширення сфер застосування ройових систем БПЛА у моніторингових, пошуково-рятувальних, інфраструктурних і спеціальних операціях, де класичні централізовані або жорстко запрограмовані підходи не забезпечують належної гнучкості та робастності. В аналітичному розділі узагальнено сучасні наукові підходи до багатоагентного навчання з підкріпленням, зокрема концепцію централізованого навчання з децентралізованим виконанням, методи факторизації функції цінності, рекурентні механізми пам’яті, протоколи міжагентної комунікації, засоби стабілізації навчання та графові моделі координації, а також визначено обмеження наявних рішень у сценаріях деградації зв’язку. Метою роботи визначено розроблення адаптивного MARL-алгоритму для керування групою БПЛА, здатного підвищити стабільність навчання, стійкість до зовнішніх збурень і узгодженість колективної поведінки агентів за умов обмеженої інформації. У розділі основного матеріалу виконано формалізацію задачі в межах частково спостережуваного марковського багатоагентного процесу прийняття рішень, де враховано множину агентів, глобальні стани середовища, простір спільних дій, локальні спостереження, функції переходів, винагороди та спостережень, а також внутрішні стани пам’яті агентів. Запропонована архітектура алгоритму побудована на парадигмі CTDE та містить локальні акторні мережі, централізований критик, модуль оцінювання надійності комунікацій, адаптивний блок реконфігурації політик і рекурентний механізм колективної пам’яті на основі LSTM. У спеціальному розділі розкрито механізми адаптації до порушень комунікацій, серед яких динамічне зважування міжагентних повідомлень за коефіцієнтом довіри, локальна реконструкція глобального стану, адаптивне перемикання режимів кооперації та прогнозування поведінки сусідніх агентів. Окремо описано механізм стабілізації навчання, що поєднує регуляризацію політик, згладжування цільових мереж, адаптивне керування швидкістю навчання та спільний буфер досвіду. В експериментальному розділі наведено результати моделювання у спеціалізованому середовищі групового польоту БПЛА за наявності шумів сенсорів, втрат пакетів, затримок, динамічних перешкод і змінної топології групи. Порівняння із базовими алгоритмами MADDPG та MAPPO показало, що запропонований підхід забезпечує вищий індекс стабільності навчання, більшу середню кумулятивну винагороду, меншу кількість міжагентних конфліктів і вищу успішність виконання місій. У висновках підтверджено ефективність розробленого адаптивного підходу для координації рою БПЛА в складних і нестабільних умовах та окреслено перспективи подальших досліджень, пов’язані з самоорганізацією, мультиагентними трансформерними моделями, перенесенням навчання на реальні платформи й урахуванням енергетичних обмежень.

Ключові слова: багатоагентне навчання з підкріпленням, рій БПЛА, часткова спостережуваність, порушення зв'язку, адаптивне керування, кооперативне навчання, децентралізовані системи.