Le Bureau des Études Doctorales a le plaisir de vous informer que
Monsieur Bilal GHADER
Doctorant au laboratoire COSMER/J-AP2S rattachés à l’École Doctorale 548 « Mer & Sciences » (France)
soutiendra sa thèse en anglais en vue de l’obtention du Grade de Docteur
sous la direction de
Monsieur Vincent HUGEL, Professeur des Universités, Université de Toulon (France), Directeur de thèse
&
Monsieur Éric WATELAIN, Professeur des Universités, Université de Toulon (France), Directeur de thèse
Co-encadré par
Mme Claire DUNE, Maitre de Conférences, Université de Toulon (France),
Discipline : Automatique, Signal, Productique, Robotique
sur le thème
« Improvement of diver-drone interactions »
((AMIDP) amélioration des interactions drones plongeurs)
Mercredi 20 novembre 2024 à 13h00
A l’Université de Toulon – Campus La Garde – Bâtiment M – Amphi M.01
devant un jury composé de :
Mme Michèle GOUIFFES, Professeure des Universités, Université Paris-Saclay (France), Rapportrice
M. Cédric PRADALIER, Professeur des Universités, Georgia Tech-Europe (France), Rapporteur
M. Guillaume ALLIBERT, Professeur des Universités, Université Côte d’Azur (France), Examinateur
M. Franck MULTON, Directeur de recherche, INRIA Rennes (France), Examinateur
M. Junaed SATTAR, Maitre de Conférences-HDR, University of Minnesota (USA), Examinateur
Mme Claire DUNE, Maitre de Conférences, Université de Toulon (France), Co-encadrante
M. Éric WATELAIN, Professeur des Universités, Université de Toulon (France), Codirecteur de thèse
M. Vincent HUGEL, Professeur des Universités, Université de Toulon (France), Directeur de thèse
Résumé :
Cette thèse de doctorat s’inscrit dans un projet plus large d’étude des interactions entre plongeurs et robots compagnons. Elle cherche à identifier la nature des informations à capturer sur les gestes du plongeur afin de différencier les gestes naturels. La plupart des travaux de pointe différencient les gestes en se basant sur la classification statique des gestes de la main dans des images 2D. Ici, le suivi de la posture générale de la partie supérieure du corps du plongeur, et en particulier la trajectoire des bras du plongeur, a été préféré à la détection de la forme de la main. Cela rend l’approche plus robuste dans des conditions de visibilité dégradée en milieu aquatique (absorption de la lumière, réflexion, turbidité). La classification des gestes s’effectue en trois étapes principales : détection des informations pertinentes, construction des signaux d’entrée de l’outil de classification, classification par une méthode d’apprentissage. Pour évaluer les méthodes, une base de données a été construite, à partir de vidéos et de captures de mouvement par suivi de marqueurs optiques dans l’air et dans l’eau (14 sujets et 12 gestes). Afin d’évaluer la différentiabilité des gestes, une première approche exhaustive et déterministe basée sur une méthode de DTW-KNN a été appliquée à l’ensemble des données. Cette étape a montré que les angles présentaient des caractéristiques géométriques parmi les plus discriminantes et les plus robustes. Une méthode de séparation des mains actives et inactives basée sur des critères d’énergie d’amplitude et d’énergie cinétique du mouvement a été proposée pour séparer les gestes à deux mains des gestes à une main en amont du procédé de classification. Cette classification a également permis d’évaluer la répétabilité des gestes dans l’air et dans l’eau, montrant une dégradation de cette valeur au passage dans l’eau. Les développements réalisés ont permis d’obtenir un taux moyen de classification de 90%, en utilisant des solutions à base de réseaux de neurones (LSTM et GRU).
Mots clés : Interaction homme-robot sous-marine, Classification des gestes, Apprentissage automatique, Bases de données, Extraction des features, Réseaux de neurones récurrent, Déformation temporelle dynamique, Robotique sous-marine, Capture de mouvement.
Improvement of diver-drone interactions
Abstract:
This doctoral thesis is part of a wider project to study interactions between divers and companion robots. It seeks to identify the nature of the information to be captured on the diver’s gestures in to differentiate natural gestures. Most state-of-the-art work differentiates gestures based on the static classification of hand gestures in 2D images. Here, tracking the general pose of the diver’s upper body, and in particular the trajectory of the diver’s arms, has been preferred to hand shape detection. This makes the approach more robust under degraded visibility conditions in aquatic environments (light absorption, reflection, turbidity). Gesture classification is performed in three main stages: detection of relevant information, feature extraction, and classification using a learning method. To evaluate the methods, a database was constructed from videos and motion captures by tracking optical markers in air and water (14 subjects and 12 gestures). To assess gesture differentiability, a first exhaustive and deterministic approach based on a DTW-KNN method was applied to the dataset. This step showed that angles were among the most discriminating and robust geometric features. A method of separating active and inactive hands based on amplitude energy and kinetic energy of movement criteria was proposed to separate two-armed gestures from one-armed gestures upstream of the classification process. This classification also made it possible to assess the repeatability of gestures in air and water, showing a deterioration in this value on passage through the water. The developments achieved an average classification rate of 90%, using neural network-based solutions (LSTM and GRU).
Keywords: Underwater Human-robot interaction, Gesture classification, Machine learning, Datasets, Feature extraction, Recurrent neural network, Dynamic time warping, Underwater robotics, Motion capture
