Interactions Intuitives entre un Drône et un Plongeur (DPII)

Posted on by

Résumé du projet

  • Support : Pôle INPS (IAPS, LIS, COSMER, IMSIC)
  • Responsable COSMER: Claire DUNE
  • Financement : Région PACA et Société Notilo Plus
  • Durée : 2 ans (2020-2022)
  • Partenaires : Notilo Plus, FFESSM, FIRST/OCEANIDE, IFREMER, CEPHISMER.

Emboîtant le pas à leurs homologues aériens, les drônes sous-marins sont maintenant disponibles pour le grand public à des coûts abordables. Parmi eux, le robot autonome IBubble de la société NOTILO PLUS a fait une percée technologique intéressante en développant un nouveau mode de téléopération sous-marine : le plongeur est équipé d’une télécommande qui permet au drone de le localiser et qui lui permet de modifier le mode de fonctionnement du drone en cours de plongée. Ce mode d’interaction inédit a jeté les prémices d’une coopération entre le drone et le plongeur qu’il suit. 

Cependant, l’interaction reste limitée à une relation maître-esclave, réduite à sélectionner un comportement parmi une liste préenregistrée. Dans ce projet, nous proposons de faire évoluer cette relation maitre-esclave en intégrant le robot plus étroitement dans la palanquée. Cette émancipation du robot sera obtenue en lui donnant des moyens sensoriels performants, des capacités cognitives adaptées, et en lui conférant un pouvoir de décision suffisant pour interpréter l’attitude des plongeurs et repérer des situations problématiques, ou simplement les assister plus efficacement. 

Le projet DPII s’articule autour de 3 questions :  

1) Quels sont les critères objectifs d’une situation accidentogène ? 

2) Comment rendre bidirectionnelle et intuitive la communication drone-plongeur ? 

3) Est-ce que la présence du drone modifie le comportement de la palanquée ? 

La plongée à l’air est une activité à risque pratiquée par 3 millions de plongeurs en Europe dont 75% choisissent la Méditerranée comme destination [1], qui comptait en 2018 plus de 70% des clubs et structures commerciales nationaux [2]. Les vidéos et la photographie sous-marines sont des arguments de vente pour les structures commerciales. Depuis quelques années, elles se dotent de drones cameramen pour filmer les baptêmes, les plongées d’exploration et aider au débriefing dans le cadre des formations. Ils permettent de remonter des images de la plongée et peuvent éclairer une zone d’intérêt ou identifier des espèces tout en libérant les mains du guide de palanquée. Ils offrent de nouvelles possibilités en termes de formation des plongeurs et d’assistance [18,31]. Cependant, on peut se demander quel est leur impact sur les plongeurs, que cela soit en exploration ou en formation. Peuvent-ils être un facteur aidant dans ce moment unique où le terrien apprend à respirer sous l’eau [4,5] ? Pourraient-ils induire du stress voire des comportements à risque ? Ou bien même déresponsabiliser chaque plongeur par dilution de la responsabilité individuelle dans un collectif “augmenté” (cf. état agentique et les travaux de Stanley Milgram). 

La plupart des drones grand public sont filoguidés et opérés depuis le navire de surface (ROV). Le robot IBubble de la société NOTILO PLUS, quant à lui, est un robot sans fil. Cet AUV dispose d’un système innovant de téléopération sous-marine : le plongeur est équipé d’une télécommande qui permet au drone de le localiser et qui lui permet de modifier le mode de fonctionnement du drone en cours de plongée. Ce mode d’interaction inédit a jeté les prémices d’une coopération de proximité entre le drone et le plongeur qu’il suit. Cependant, l’interaction reste limitée à sélectionner un comportement parmi une liste préenregistrée. Le drone a dès lors une autonomie cognitive et décisionnelle réduite. Par exemple, en mode “suivi de plongeur”, le robot se positionne à une distance relative fixe et maintient cette position même si la turbidité de l’eau occulte le plongeur. Il ne surveille pas non plus les plongeurs qui entrent dans son champ de vision et qui seraient susceptibles d’interagir avec lui (demander de maintenir une profondeur, signaler un problème, montrer une zone d’intérêt à filmer, demander un éclairage…).

Le projet DPII propose d’élargir la palette d’interactions entre un plongeur et un AUV afin que des informations puissent être transmises de manière plus intuitive. Le projet européen FP7 CADDY [28], les travaux du groupe du Minnesota Interactive Robotics and Vision Laboratory [10-14], puis le projet ADRIATIC ont exploré différentes modalités de communication entre un robot sous-marin et un plongeur : l’utilisation de tags, de tablette immergeables [28], la compréhension des gestes du plongeurs avec des gants marqués [22] ou instrumentés [22], ou à main nue [12]  et plus récemment le mouvement du robot [16].  L’objectif du projet DPII est de proposer un mode d’interaction intuitif drone-plongeur le moins intrusif possible : pictogramme sur tablette, mouvements corporels, gestes, signaux lumineux, signaux sonores, … Ces modalités d’interaction seront étudiées (thèse AMIDP) ainsi que leurs impacts sur la manifestation d’affects du plongeur et sur son degré d’engagement. 

Pour entrer en interaction avec un plongeur, le drone doit se positionner face à lui. Cela signifie qu’il est au préalable capable de détecter [25] et localiser les plongeurs [23], d’estimer leurs positions [6,15,20,24] et de prédire leurs déplacements futurs afin de les anticiper en développant des modes de commande prédictifs référencés capteurs. Cela implique que le robot planifie sa trajectoire au sein de la palanquée pour ne pas entrer en collision avec les plongeurs ni provoquer des mouvements de panique en se faufilant trop rapidement entre eux. La robotique terrestre, s’est déjà emparée du problème de la navigation d’un robot autonome dans une foule [7,8,9,17, 31, 32]. Le projet DPII propose de développer une méthode de navigation en palanquée adaptée à l’environnement 3D sous-marin tout en se questionnant sur l’impact des mouvements du drone sur l’état émotionnel des plongeurs. Par ailleurs, l’information sur  l’évolution spatio-temporelle de la palanquée semble être un critère mesurable et pertinent pour la prévention des accidents de plongée : un plongeur qui a froid se désintéresse de la plongée (visiblement notamment par une réduction des mouvements de la tête), reste à l’écart du groupe, ralentit son rythme de palmage…, un plongeur qui est atteint par la narcose va avoir plutôt avoir un comportement anarchique par rapport au reste du groupe, ne pas réagir aux interactions… D’autres critères à identifier pourront être étudiés pour lever des alarmes, comme un important nuage de bulles relâché par les plongeurs symptomatique d’un essoufflement ou à l’inverse une réduction des bulles synonyme d’une panne d’air, leur rythme de palmage relatif au froid ou à la fatigue, etc. 

Le projet DPII propose d’étudier le scénario suivant : un drone cameraman suit une palanquée, il monitore tous ses plongeurs et caractérise la compacité de la palanquée. Il détecte un plongeur au comportement singulier. Il planifie une trajectoire en tenant compte de l’environnement et de la palanquée pour se positionner devant lui et entrer en interaction. Il interagit ensuite avec ce plongeur pour évaluer son état. En cas d’anomalie, il signale le plongeur au guide de palanquée (flash lumineux, cercle au-dessus du plongeur en détresse, signal sonore). S’il s’avère qu’il n’y a pas de problème, il met à jour sa base de connaissance pour affiner ses détections d’anomalies futures. 

Chaque étape de ce scénario met en évidence un nœud scientifique : estimer la localisation de tous les plongeurs d’une palanquée avec les capteurs embarqués sur un AUV, estimer leur attitude en 3D, naviguer au sein d’une palanquée (on retrouve la problématique de la navigation en flottille), détecter une anomalie (en utilisant les techniques récentes d’intelligence artificielle), interagir avec un plongeur en utilisant son matériel habituel. Les algorithmes d’estimation de la position des plongeurs et de leur attitudes (position et orientation) seront confrontés aux trajectoires calculées par un système de suivi de mouvement dynamique (voir partie financement de matériel). Ces scénarios seront testés sur différents publics de plongeurs de niveaux d’expertise et de capacité d’interaction différents : des plongeurs loisirs de niveaux 2 ou 3 et des plongeurs en situation de handicap en partenariat avec la FFESSM ainsi que des plongeurs militaires, en partenariat avec le CEPHISMER. 

L’originalité de ce projet réside dans la construction d’un travail interdisciplinaire imbriquant totalement les sciences humaines et sociales, les sciences et techniques des activités physiques et sportives, les sciences fondamentales, et les sciences de l’ingénieur à toutes les étapes. 

 

 

 

Références

  1. http://livreplongee.fr/chiffres-cles-de-la-plongee-en-france
  2. http://coindespros.ffessm.fr/
  3. Miguel Simao. Segmentation et reconnaissance des gestes pour l’interaction homme-robot cognitive. Mécanique des matériaux [physics.class-ph]. École nationale supérieure d’arts et métiers – ENSAM; Universidade de Coimbra, 2018. Français. 
  4. Candace L. Sidner, Christopher Lee, Cory D. Kidd, Neal Lesh & Charles Rich. Explorations in engagement for humans and robots. Artif. Intell.,vol. 166, pages 140–164, August 2005.
  5. C. Rich, B. Ponsler, A. Holroyd & C.L. Sidner. Recognizing engagement in human-robot interaction. In Human-Robot Interaction (HRI), 2010 5thACM/IEEE International Conference on, pages 375 –382, March 2010.
  6. Stephanie Rosenthal & Manuela M. Veloso. Modeling Humans as Observation Providers using POMDPs. In RO-MAN, 2011
  7. E.A. Sisbot, L.F. Marin-Urias, R. Alami & T. Simeon.A Human Aware Mobile Robot Motion Planner. IEEE Transactions on Robotics, vol. 23,no. 5, pages 874–883, october 2007
  8. Emrah Akin Sisbot, Luis F. Marin-Urias, Xavier Broquere, Daniel Sidobre & Rachid Alami.Synthesizing Robot Motions Adapted to Human Presence. International Journal of Social Robotics, vol. 2, no. 3, pages 329–343,2010.
  9. Tarek Taha, Jaime Valls Miŕo & Gamini Dissanayake. POMDP-based long-term user intention prediction for wheelchair navigation. In ICRA, pages 3920–3925, 2008
  10. Sattar, Junaed & Dudek, Gregory. (2017). Visual identification of biological motion for underwater human–robot interaction. Autonomous Robots. 42. 1-14. 10.1007/s10514-017-9644-y. 
  11. Islam, Md Jahidul & Ho, Marc & Sattar, Junaed. (2018). Understanding human motion and gestures for underwater human–robot collaboration. Journal of Field Robotics. 36. 10.1002/rob.21837.
  12. J. Sattar, P. Giguere, G. Dudek, and C. Prahacs, “A Visual Servoing System for an Aquatic Swimming Robot,” inIEEE/RSJ International Conference on Intelligent Robots and Sys-tems (IROS). IEEE, 2005, pp. 1483–1488
  13. J. Sattar and G. Dudek, “Robust Servo-control for Underwater Robots using Banks of Visual Filters,” inIEEE International Conference on Robotics and Automation (ICRA).IEEE, 2009, pp. 3583–3588.
  14. Michael Fulton, Chelsey Edge, Junaed Sattar, « Robot Communication Via Motion: Closing the Underwater Human-Robot Interaction Loop », Robotics and Automation (ICRA) 2019 International Conference on, pp. 4660-4666, 2019
  15. J. DeMarco, M. E. West, A. M. Howard, « Sonar-Based Detection and Tracking of a Diver for Underwater Human-Robot Interaction Scenarios », 2013 IEEE International Conference on Systems Man and Cybernetics, pp. 2378-2383, Oct. 2013.
  16. M. J. Islam, M. Ho, J. Sattar, « Dynamic reconfiguration of mission parameters in underwater human-robot collaboration », pp. 1-8, May 2018.
  17. M. J. Islam, J. Hong, J. Sattar, « Person following by autonomous robots: A categorical overview », CoRR, 2018, 
  18. Marco Bibuli, “Diving with robots”, HANSA International Maritime Journal, pp. 66, May 2016
  19. Guštin, Franka; Rendulić, Ivor; Mišković, Nikola; Vukić, Zoran. Hand gesture recognition from multibeam sonar imagery, Proceedings of the 10th IFAC Conference on Control Applications in Marine Systems (CAMS’16), 470-475 https://doi.org/10.1016/j.ifacol.2016.10.450
  20. A. G. Chavez, C. A. Mueller, A. Birk, A. Babic and N. Miskovic, « Stereo-vision based diver pose estimation using LSTM recurrent neural networks for AUV navigation guidance, » OCEANS 2017 – Aberdeen, Aberdeen, 2017, pp. 1-7. doi: 10.1109/OCEANSE.2017.8085020
  21. Chiarella, D.; Bibuli, M.; Bruzzone, G.; Caccia, M.; Ranieri, A.; Zereik, E.; Marconi, L.; Cutugno, P. A Novel Gesture-Based Language for Underwater Human–Robot Interaction. J. Mar. Sci. Eng. 2018, 6, 91. 
  22. Đula Nađ; Walker, Christopher; Kvasić, Igor; Orbaugh Antillon, Derek; Mišković, Nikola; Anderson, Iain; Lončar, Ivan Towards Advancing Diver-Robot Interaction Capabilities  12th IFAC Conference on Control Applications in Marine Systems, Robotics, and Vehicles Daejeon, South Korea, 2019. str. 1-6
  23. Mandić, Filip; Mišković, Nikola. Tracking Underwater Target Using Extremum Seeking, Proceedings of the 4th IFAC Workshop on Navigation, Guidance and Control of Underwater Vehicles (NGCUV’2015).
  24. Rendulić, Ivor; Bibulić, Aleksandar; Mišković, Nikola. Estimating diver orientation from video using body markers, Proceedings of MIPRO 2015 Conference / Petar Biljanović (ur.). Rijeka : Croatian Society for Information and Communication Technology, Electronics and Microelectronics – MIPRO, 2015. 1257-1263
  25. Gomez Chavez, Arturo; Pfingsthorn, Max; Birk, Andreas; Rendulić, Ivor; Mišković, Nikola. Visual Diver Detection using Multi-Descriptor Nearest- Class-Mean Random Forests in the Context of Underwater Human Robot Interaction (HRI), Proceedings of MTS/IEEE OCEANS’15 Conference
  26. S. Murat Egi, Guy Thomas, Massimo Pieri, Danilo Cialoni, Costantino Balestra, Alessandro Marroni, Safety rules for the development of a Cognitive Autonomous Underwater Buddy (CADDY), ISUR – 8th International Symposium on Underwater Research; 26-29 March 2014, Procida, Italy.
  27. Mišković, Nikola; Pascoal, Antonio; Bibuli, Marco; Caccia, Massimo; Neasham, Jeffrey A.; Birk, Andreas; Egi, Murat; Grammer, Karl; Marroni, Alessandro; Vasilijević, Antonio et al. CADDY project, year 3: The final validation trials OCEANS 2017 – Aberdeen Aberdeen, Ujedinjeno Kraljevstvo: IEEE, 2017. str. 1-5 doi:10.1109/oceanse.2017.8084715 (poster, međunarodna recenzija, sažetak, ostalo)
  28. M. Menix, N. Mišković, Z. Vukić, Interpretation of divers’ symbolic language by using hidden Markov models, Proceedings of the 35th international convention on information and communication technology, electronics and microelectronics MIPRO/CTS 2014), Opatija, Croatia
  29. P. Abreu, B. Bayat, J. Botelho, P. Góis, A. Pascoal, J. Ribeiro, M. Ribeiro, M. Rufino, L. Sebastião, H. Silva, “Cooperative Control and Navigation in the scope of the EC CADDY Project”, submitted to OCEANS´15 MTS/IEEE Genova, Italy, 18-21 May, 2015
  30. Miskovic, Nikola & Vukić, Zoran & Vasilijevic, Antonio. (2013). Autonomous Marine Robots Assisting Divers. 8112. 357-364. 10.1007/978-3-642-53862-9-46.
  31. Jorge Rios-Martinez, Anne Spalanzani, Christian Laugier. From Proxemics Theory to Socially-Aware Navigation: A Survey. International Journal of Social Robotics, Springer, 2015
  32. Ginés Clavero, Jonatan & Martín, Francisco & Vargas, David & Rodríguez Lera, Francisco & Matellán, Vicente. (2019). Social Navigation in a Cognitive Architecture Using Dynamic Proxemic Zones. Sensors. 19. 5189. 10.3390/s19235189.