Bienvenue aux Mines Paristech
Bienvenue à MINES ParisTech
Newsletter International
Website
Théorie & Pratique
Vous êtes

webTV

Lecture

Modéliser pour préparer l'expérience

Lecture

Créer de la musique à partir de gestes dans l'espace

Lecture

Electromagnetic forming process for metallic pieces

Lecture

David Ryckelynck | Entretiens de Toulouse 2015

Lecture

L'intégration du stockage dans un réseau électrique durable

+ Toutes les vidéos

Partager

Edgar HEMERY - Soutenance de thèse MINES ParisTech

Edgar HEMERY

Modélisation, reconnaissance des gestes des doigts et du haut du corps dans le design d'interaction musical

Titre anglais : Modelling, recognition of finger gestures and upper-body movements for musical interaction design
Date de soutenance : 16/06/17
Directeur de thèse : Fabien MOUTARDE

Mots clés en français : geste,musique,interaction,3D,
Mots clés en anglais : gesture,music,interaction,3D,

Résumé de la thèse en français
Cette thèse présente un nouvel instrument de musique, appelé Embodied Musical Instrument (EMI), qui a été conçu pour répondre à deux problèmes: comment pouvons-nous “capturer” et modéliser des gestes musicaux et comment utiliser ce modèle afin de contrôler des paramètres de synthèse sonore de manière expressive. L'EMI est articulé autour d'une stratégie de “mapping explicite” qui s'inspire de techniques du jeu pianistique, mais aussi du potentiel gestuel de certains objets. Le système que nous proposons utilise des caméras 3D et des algorithmes de vision par ordinateur afin de libérer le geste de dispositifs intrusifs, tout en facilitant le processus de capture et de performance. Nous utilisons différentes caméras 3D pour le suivi de geste et exploitons pleinement leur potentiel en ajoutant une plaque transparente. Cette plaque créer un seuil de détection pour les doigtés, mais fournit aussi une rétroaction haptique, simple mais nécessaire. Nous avons examiné les gestes des doigts par rapport à la surface de l'EMI et nous avons décomposé leurs trajectoires en phases élémentaires, ce qui nous a permis de modéliser et d'analyser des gestes de type pianistique. Une étude préliminaire sur les gestes musicaux a porté notre intérêt non seulement sur les gestes “effectifs” opérés par les doigts - dans le cas des instruments à claviers - mais aussi sur les gestes “d'accompagnements” et “figuratifs”, caractérisés principalement par les mouvements des bras et de la tête. Par conséquent, nous distinguons deux niveaux d'interactions, délimités par deux volumes d'interaction: un volume englobant dit “micro” inclut les micro-gestes opérés par les doigts, tandis qu'un volume englobant dit “macro” comprend des mouvements plus importants du haut du corps. À partir de cela, nous étendons notre modèle de jeu pianistique à un paradigme d'interaction 3D, où les paramètres musicaux de haut niveau, tels que les effets sonores (filtres, réverbération, spatialisation), peuvent être contrôlés en continu par des mouvements du haut du corps. Nous avons exploré un ensemble de scénarios réels pour cet instrument, à savoir la pratique, la composition et la performance. L'EMI introduit un cadre pour la capture et l'analyse de gestes musicaux spécifiques. Une analyse hors ligne des fonctionnalités gestuelles peut révéler des tendances, des défauts et des spécificités d'une interprétation musicale. Plusieurs œuvres musicales ont été créées pour l'EMI, réalisées en solo, accompagnées d'un quatuor à cordes, et d'autres ensembles musicaux. Un retour d'expérience montre que l'instrument peut être facilement enseigné - sinon de manière autodidacte - grâce aux paradigmes gestuels intuitifs tirés de gestes pianistiques et d'autres gestes métaphoriques.

Résumé de la thèse en anglais
This thesis presents a novel musical instrument, named the Embodied Musical Instrument (EMI), which has been designed to answer two problems: how can we capture and model musical gestures and how can we use this model to control sound synthesis parameters expressively. The EMI is articulated around an explicit mapping strategy, which draws inspiration from the piano-playing techniques and other objects' affordances.  The system we propose makes use of 3D cameras and computer vision algorithms in order to free the gesture from intrusive devices and ease the process of capture and performance, while enabling precise and reactive tracking of the fingertips and upper-body. Having recourse to different 3D cameras tracking solutions, we fully exploit their potential by adding a transparent sheet, which serves as a detection threshold for fingerings as well as bringing a simple but essential haptic feedback. We examined finger movements while tapping on the surface of the EMI and decomposed their trajectories into essential phases, which enabled us to model and analyse piano-like gestures. A preliminary study of generic musical gestures directed our interest not only on the effective gestures operated by the fingers - in the case of keyboard instruments - but also on the accompanying and figurative gestures, which are mostly characterised by the arms and head movements. Consequently, we distinguish two level of interactions, delimited by two bounding volumes. The micro bounding volume includes the micro-gestures operated with the fingers, while the macro bounding volume includes larger movements with the upper-body. Building from this, we extend our piano-like model to a 3D interaction paradigm, where higher-level musical parameters, such as sound effects, can be controlled continuously by upper-body free movements. We explored a set of real-world scenarios for this instrument, namely practice, composition and performance. The EMI introduces a framework for capture and analysis, of specific musical gestures. An off-line analysis of gesture features can reveal trends, faults and musical specificities of an interpret. Several musical works have been created and performed live; either solo or accompanied by a string quartet, revealing the body gesture specificities through the sounds it synthesises. User experience feedback shows that the instrument can be easily taught - if not self-taught - thanks to the intuitive gesture paradigms drawn from piano-like gestures and other metaphorical gestures.

Retour à l'annuaire des docteurs

actualité

Recherche : l'École dans le Top 500 mondial

Formation Recherche : l'École dans le Top 500 mondial Publié chaque année au mois d'août, depuis 2003, le…
> En savoir +

Le Rapport d'activité 2016 est en ligne

Formation Le Rapport d'activité 2016 est en ligne C'est par un éditorial à deux voix que s'ouvre le…
> En savoir +

Des conditions d'études optimales

Formation Des conditions d'études optimales Un faible "ratio étudiants / personnels encadrants" peut…
> En savoir +

Les matériaux à l'honneur

Formation Les matériaux à l'honneur Le Prix Bodycote de la SF2M récompense deux jeunes docteurs de l'École. La SF2M…
> En savoir +

Deux prix CSMA en

Formation Deux prix CSMA en "calcul des structures" Lors du 13 e colloque national en calcul des structures , à…
> En savoir +

+ Toutes les actualités

contact

Régine MOLINS
Direction de l'Enseignement
Service du Doctorat
> envoyer un mail

Plan du site
MINES
ParisTech

60, Boulevard Saint-Michel
75272 PARIS Cedex 06
Tél. : +33 1 40 51 90 00

Implantations
Formation
Mentions légales | efil.fr | ©2012 MINES ParisTech | +33 1 40 51 90 00 |