О некоторых алгоритмах решения задачи патрулирования подводной среды с помощью группы взаимодействующих АНПА

Автор: Спорышев М.С., Щербатюк А.Ф.

Журнал: Подводные исследования и робототехника @jmtp-febras

Рубрика: Модели, алгоритмы и программные средства

Статья в выпуске: 4 (30), 2019 года.

Бесплатный доступ

Рассматривается задача патрулирования области в подводной среде с помощью группы автономных необитаемых подводных аппаратов. Отмечаются проблемы, которые делают задачу вычислительно сложной и недоступной для точных методов оптимизации. Исследован приближенный метод, получивший в последние годы большую популярность, - обучение с подкреплением. Процесс патрулирования сформулирован в виде марковского процесса принятия решений. Рассмотрена децентрализованная стратегия, допускающая обмен информацией между аппаратами с возможной потерей данных и учитывающая сложности сетевого взаимодействия в подводной среде. Исследованы алгоритмы на основе методов обучения с подкреплением и проведен их сравнительный анализ. Описаны результаты моделирования работы предложенных алгоритмов в среде OpenAI gym.

Еще

Взаимодействующие анпа, групповое управление, обучение с подкреплением, патрулирование

Короткий адрес: https://readera.ru/143169777

IDR: 143169777   |   DOI: 10.25808/24094609.2019.30.4.003

Список литературы О некоторых алгоритмах решения задачи патрулирования подводной среды с помощью группы взаимодействующих АНПА

  • Caiti A., Munafo A., Vettori G. A geographical information system (gis)-based simulation tool to assess civilian harbor protection levels // IEEE J. of Oceanic Engineering. 2012. Vol. 37, No. 1. P. 85-102.
  • Inzartsev A., Pavin A., Panin M., Tolstonogov A., Eliseenko G. Detection and Inspection of Local Bottom Objects with the Help of a Group of Special-Purpose AUVs // Proc. of the OCEANS 2018 MTS/IEEE Conference. Kobe, Japan, 2018.
  • Inzartsev A., Pavin A. AUV Behavior Algorithm While Inspecting of Partly Visible Pipeline // Proc. of the OCEANS 2006 MTS/IEEE Conference. Boston, MA, USA, 2006.
  • Lin Y. et al. A Multi Autonomous Underwater Vehicle System for Autonomous Tracking of Marine Life // J. of Field Robotics. 2017. Vol. 34, No. 4. P. 757-774.
  • Cao Xiang, Daqi Zhu, Simon X. Yang. "Multi-AUV target search based on bioinspired neurodynamics model in 3-D underwater environments" // IEEE transactions on networks and learning systems 27. 2016. Vol. 11 (2016). P. 2364-2374.
  • Ferri G. et al. Cooperative robotic networks for underwater surveillance: an overview // IET Radar, Sonar & Navigation. 2017. Vol. 11, No. 12. P. 1740-1761.
  • Pavin A., Inzartsev A., Eliseenko G. Reconfigurable Distributed Software Platform for a Group of UUVs (Yet Another Robot Platform) // Proc. of the OCEANS 2016 MTS/IEEE Conference & Exhibition. California, USA, September 19-23, 2016.
  • Antonelli G. et al. Harbour protection strategies with multiple autonomous marine vehicles // Int. Workshop on Modelling and Simulation for Autonomous Systems. Springer, Cham, 2014. P. 241-261.
  • Pavone M., Arsie A., Frazzoli E., Bullo F. Equitable partitioning policies for robotic networks // 2009 IEEE Int. Conf. on Robotics and Automation. 2016. May. P. 2356-2361.
  • Agmon Noa, Sarit Kraus, Gal A. Kaminka. Multi-robot perimeter patrol in adversarial settings // 2008 IEEE Int. Conf. on Robotics and Automation. Pasadena, CA, USA, 2008.
  • Asghar A.B., Smith S.L. A Patrolling Game for Adversaries with Limited Observation Time // 2018 IEEE Conference on Decision and Control (CDC). IEEE, 2018. P. 3305-3310.
  • Portugal David et al. Finding optimal routes for multi-robot patrolling in generic graphs // 2014 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. IEEE. Chicago, Illinois, USA, 2014.
  • Adepegba A.A., Miah S., Spinello D. Multi-agent area coverage control using reinforcement learning // The Twenty-Ninth International Flairs Conference. Florida, USA, 2016. P. 368-373.
  • Sporyshev M., Scherbatyuk A. Reinforcement learning approach for cooperative AUVs in underwater surveillance operations // Proc. of the 2019 IEEE Underwater Technology (UT). IEEE. Kaohsiung, Taiwan. 2019. P. 74-77.
  • Schulman J. et al. Trust Region Policy Optimization // Proc. of Int. Conf. Machine Learning. Lille, France. 2015. Vol. 37.
  • Mnih V. et al. Asynchronous methods for deep reinforcement learning // Proc. of 33th Int. conf. on machine learning. USA. 2016. Vol. 48. P. 1928-1937.
  • Schulma J. et al. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347 (2017). Helsinky, Finland. 2017.
  • He K., Zhang X., Ren S., Sun, J. Deep residual learning for image recognition // Proc. of the IEEE conf. on computer vision and pattern recognition. Las Vegas, Nevada, USA. 2016. P. 770-778.
  • Vaswani Ashish et al. Attention is all you need. Advances in neural information processing systems // Proc. of 31th Conf. on Neural Information Processing Systems (NIPS 2017). Long Beach, CA, USA.
  • Hochreiter S., Schmidhuber J. Long short-term memory. Neural computation. 1997. Vol. 9 (8). P. 1735-1780.
  • Brockman Gr. et al. Openai gym. - URL: http://www.gym.openai.com (дата обращения: 18.11.2019).
  • Catto E. Box2d: A 2d physics engine for games. - URL: http://www.box2d.org (дата обращения: 18.11.2019).
  • Горнак В.Е., Инзарцев А.В., Львов О.Ю., Матвиенко Ю.В., Щербатюк А.Ф. ММТ-3000 - новый малогабаритный автономный необитаемый подводный аппарат ИПМТ ДВО РАН // Подводные исследования и робототехника. 2007. № 1 (3). С. 12-20.
Еще
Статья научная