Bienvenue aux Mines Paristech
Bienvenue à MINES ParisTech
Newsletter International
Website
Théorie & Pratique
Vous êtes

webTV

Lecture

Conférence éthique et intelligence artificielle : Elise Berlinski

Lecture

Certificat exécutif : digital native, 3 questions à...

Lecture

Carlos Adrian Correa Florez, MINES ParisTech PhD, PERSEE center

Lecture

Certificat exécutif : digital native, 3 questions à...

Lecture

Lancement de la Chaire industrielle ANR TOPAZE

+ Toutes les vidéos

Partager

Machine Learning et respect des lois de la physique : application à l'imagerie sismique

Machine Learning et respect des lois de la physique : application à l'imagerie sismique

Physics-Informed Machine Learning in the context of seismic imaging

Proposition de thèse

Spécialité

Géosciences et géoingénierie

Ecole doctorale

GRNE - Géosciences, Ressources Naturelles et Environnement

Directeur de thèse

CHAURIS Hervé

Co-directeur

HACHEM Elie

Unité de recherche

Géosciences

ContactHervé CHAURIS
Date de validité

01/10/2020

Site Web
Mots-clés

Machine learning, lois physiques (PINN), réseaux de neurones profonds, propagation des ondes, imagerie sismique

Machine learning, Physics-informed Machine Learning (PINN), deep neural networks, wave propagation, seismic imaging

Résumé

Vue d'ensemble
Le domaine du Machine Learning est en pleine expansion, pour faire 'parler' les données, après possiblement une phase d'apprentissage. Ces approches, trop souvent des boites noires, oublient les techniques plus traditionnelles, basées sur la physique, qui visent à expliquer et modéliser les phénomènes. L'objectif de la thèse est de développer, dans le contexte de l'imagerie sismique [1], une approche intermédiaire où les lois de la physique seront (partiellement) respectées. Les principales applications de Machine Learning en sismique concernent à ce jour des tâches de pré-traitement (débruitage, pointé, ...), mais très peu la partie imagerie (retrouver des paramètres du sous-sol, un problème non-linéaire). L'introduction de la physique dans le Machine Learning pourrait permettre de combler cette lacune.
Détails
En 2019, Raissi et al. ont montré comment il est possible de coupler des approches de Machine Learning avec le respect des lois de la physique, sous la dénomination de Physics-informed Neural Networks (PINN) [3]. Les applications concernent la résolution d'équations différentielles (i.e. le problème direct) et la résolution de problèmes inverses (retrouver les paramètres qui contrôlent le phénomène physique, par exemple la propagation des ondes, à partir d'observations). C'est cette deuxième approche qui sera développée dans la thèse proposée ici.
D'un côté, les réseaux de neurones profonds permettent en théorie de représenter toute fonction. L'apprentissage est souvent compliqué et dans les problèmes physiques les observables sont peu nombreuses et coûteuses à acquérir. D'un autre côté, les équations de la physique représentent une information cruciale que les approches de Machine Learning traditionnelles ne prennent pas en compte. L'approche de Raissi et al., 2019, comble cette lacune. La fonction objective (loss function) dans les réseaux de neurones comprend plusieurs termes pour s'assurer que les données prédisent bien les observables disponibles et que les lois de la physique sont également respectées [3]. Ce second terme peut être vu comme une régularisation, indispensable pour éviter de sur-exploiter des données bruitées (over-fitting). Les algorithmes d'auto-différentiation au sein des réseaux de neurones, permettent d'estimer les meilleurs paramètres qui minimisent la fonction objective.
Cette approche est très attractive et sera étendue et modifiée pour être applicable au domaine de l'imagerie sismique. Dans le cadre de l'acquisition sismique, une source active provoque des ondes acoustiques / élastiques qui se propagent dans le sous-sol. Des capteurs, souvent en surface, enregistrent la pression ou le déplacement des particules en fonction du temps. L'objectif est de déterminer des champs de vitesses de propagation des ondes (et tout autre champ qui contrôle la propagation des ondes comme la densité, l'anisotropie, …).
Par rapport aux premiers cas illustrés dans la littérature autour du couplage entre Machine Learning et respect de la physique, l'imagerie sismique offre des particularités à prendre en compte :
• L'aspect propagatif des ondes fait que les champs d'onde ne sont pas lisses et que contrôler qu'un champ d'onde vérifie bien l'équation des ondes doit se faire a priori en un très grand nombre de points (contrairement à un problème diffusif avec une solution beaucoup plus régulière) ;
• La fonction coût traditionnelle en imagerie sismique contient des minima secondaires. Comment l'approche PINN peut-elle gérer cette difficulté ? Comment tirer avantage du contenu fréquentielle des données ? Dans les approches classiques, l'inférence utilise d'abord les basses fréquences, puis augmente le contenu fréquentiel. Comment le réseau de neurones peut-il tirer parti de cette approche (e.g. proxi pour la modélisation) ?
• Enfin, le nombre de paramètres à estimer est potentiellement tres grand (des milliers ou largement plus, car les paramètres sont fonction de la position spatiale). Dans les premiers articles, seules quelques valeurs sont recherchées. Comment aborder cette thématique et jouer avec l'architecture des réseaux de neurones ? Dans ce contexte, les GAN (Generative Adversarial Networks) peuvent aider à déterminer la meilleure paramétrisation [2].
L'objectif de la thèse est donc de développer une approche de Machine Learning couplée aux lois de la physique, dans le cadre de l'imagerie sismique. Les validations se feront sur des données synthétiques et des données réelles.

Overview:

Machine Learning is currently largely developing. After a possible learning step, the objective is to let the data speak. These approaches tend to forget the more traditional physics-based approaches. The objective of the PhD is to develop, in the context of seismic imaging [1], an intermediate approach, in which the physics is preserved. Currently, the main contributions of Machine Learning to seismic processing are related to pre-processing steps (de-noising, picking, ...) but not really yet to the imaging part (determining the Earth's properties from surface measurements, a highly non-linear problem). The explicit introduction of physics within Machine Learning should fill this gap.

Details:

In 2019, Raissi et al., demonstrated how it is possible to combine Machine Learning approaches with more traditional physics approaches (Physics-Informed Neural Networks, PINN) [3]. The applications are related to the resolution of partial differential equations (i.e. direct problems) as well as to the resolution of inverse problems (determining the main parameters controlling the physical phenomena, for example the wave propagation, from a set of observations). The later approach will be developed here.

On the one hand, deep neural networks are able in theory to describe any functions. Learning is usually a complex task and in physics-related problems, observations are rare and expensive to acquire. On the other hand, Machine Learning does not usually consider physics-based equations, a very useful source of information. As proposed by Raissi et al., 2019, a modified loss function in the neural networks contains several terms to ensure that the data predict the observations and that the laws of physics are fulfilled [3]. This second term can be seen as a regularisation term, essential in practice to avoid any over-fitting in the case of noisy data. The auto-differentiation within the neural networks provides a way to estimate the optimal parameters.

This approach is very attractive and will be extended and modified to be applicable in the context of seismic imaging. Seismic acquisition consists of activating a seismic source and of recording acoustic / elastic waves. The objective is to determine seismic velocity wave fields and any other parameters controlling the wave propagation within the sub-surface. In comparison with the first PINN applications, seismic imaging offers some particular aspects to be properly considered:
-Seismic wave are mainly propagative waves, meaning that the wave field is not smooth. In order to check that the wave field obeys the wave equation, the number of controlling points is a priori much larger than for a diffusive problem with a more regular solution;
-The traditional loss function in seismic imaging contains a large number of local minima. How does the PINN approach behave? How is it possible to take advantage of the frequency content of the data? In the classical approaches, the model estimation first relies on the low frequencies and then enlarges the frequency spectrum, in order to avoid local minima. How could the neural network benefit from this approach (e.g. a proxi for the modelling part)?
-Finally, the number of unknowns (number of parameters to be estimated) is potentially very large (thousands or much more, as the parameters depend on the spatial coordinates). In the first articles, only a few values were determined. How to play with the neural network to address this issue? The Generative Adversarial Networks (GAN) could be very useful to determine the optimal parameterisation [2].

Contexte

The objective of the PhD thesis is to developed a Physics-informed Machine Learning approach in the context of seismic imaging. The validations will be performed on synthetic and real data sets.

Encadrement

encadrant (non HDR) : Desassis Nicolas

Profil candidat

Le/la candidat(e) doit avoir de très bonnes bases en mathématiques et en physique. Il/elle doit avoir un fort intérêt pour le Machine Learning et un goût pour les applications à l'imagerie géophysique du sous-sol, tout particulièrement avec les méthodes sismiques. Il/elle doit aussi avoir une très bonne expérience en programmation informatique. Un plus est d'avoir une expérience en calcul parallèle (HPC). Le/la candidat(e) doit maîtriser l'anglais, tant à l'écrit qu'à l'oral.

The candidate should have a strong background in maths and physics. He/she should have a clear interest for Machine Learning and for geophysical applications, in particular in the context of seismic imaging. He/she should have a strong experience in scientific programming. It is appreciated if he/she also have some knowledge on high performance computing (HPC). It is essential to be fluent in speaking and writing English.

Références

[1] Chauris, H. (2019). Full Waveform Inversion, in Seismic Imaging, a practical approach , J-L. Mari and M. Mendes (Eds.), EDP Sciences, chapter 5, 23 p., ISBN (ebook): 978-2-7598-2351-2, doi:10.1051/978-2-7598-2351-2.c007


[2] Goodfellow, I., J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville and Y. Bengio (2014). Generative Adversarial Networks. Proceedings of the International Conference on Neural Information, arXiv:1406.2661


[3] Raissi, M., P. Perdikaris, G.E. Karniadakis (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686-707

Type financement

Financement d'un Etablissement d'enseignement supérieur

Document PDF

https://www.adum.fr/download.pl?tk=xvqcszrlm48mssussppd25hz6q6rtut1

Retour à la liste des propositions

actualité

Mon doctorat en confinement

Formation Mon doctorat en confinement             des Initiatives pour poursuivre sa thèse pendant le confinement,…
> En savoir +

Sauver les êtres humains ou la croissance économique, les États face au dilemme

Formation Sauver les êtres humains ou la croissance économique,… L’idée d’attribuer une valeur monétaire à une vie…
> En savoir +

European Research Council : un succès pour Pierre Rouchon

Formation European Research Council : un succès pour Pierre… Protéger cohérences et intrications  Ces futures…
> En savoir +

Lutte contre la pandémie de coronavirus

Formation Lutte contre la pandémie de coronavirus Vous trouverez sur cette page les dernières consignes en…
> En savoir +

Loan Hemery et Aurore Wurtz, lauréats du Prix Roger Cadiergues

Formation Loan Hemery et Aurore Wurtz, lauréats du Prix Roger… Le Prix Roger Cadiergues 2019 du meilleur mémoire de fin…
> En savoir +

+ Toutes les actualités

contact

Régine MOLINS
Direction de l'Enseignement
Service du Doctorat
> envoyer un mail

Plan du site
MINES
ParisTech

60, Boulevard Saint-Michel
75272 PARIS Cedex 06
Tél. : +33 1 40 51 90 00

Implantations
Mentions légales | efil.fr | ©2012 MINES ParisTech | +33 1 40 51 90 00 |