Session

Theoretische Grundlagen maschinellen Lernens

Termin:
Donnerstag 15.09.2022, 13:30 bis 15:00 Uhr
Dauer:
90 Minuten
Sessionchair:
Dr. Sebastian Götschel
Institut für Mathematik (TUHH)

Kurzbeschreibung

Maschinelles Lernen wird sehr erfolgreich zur Lösung verschiedenster naturwissenschaftlicher, technischer oder medizinische Problemstellungen eingesetzt. Dabei wird oft ein empirischer Zugang ("trial and error") verfolgt; die theoretischen Grundlagen sind noch lückenhaft. In dieser Session werden verschiedene Aspekte davon diskutiert, etwa im Hinblick auf Robustheit sowie den Einsatz von deep learning zur Identifizierung physikalischer Modell-Parameter aus Messwerten.

Vorträge

  • Deep learning for PDE-based inverse problems
    Derick Nganyu Tanyu, Jianfeng Ning, Peter Maass

    In this talk we analyse and compare different deep learning approaches such as Deep Ritz, Fourier Neural Operators, DeepOnet, TorchPhysics and others for a hierarchy of PDE-based problems: 1) forward solvers of single PDEs, 2) parametric studies of PDEs , 3) parameter identification for PDEs (inverse problems). The last topic typically is not covered by the original concepts and requires novel approaches. The main part of the talk is on numcerical experiments with those different schemes. We also present preliminary results for the theoretical research in progress and include an application in collaboration with Volkswagen.

  • Physik-informiertes maschinelles Lernen
    Sebastian Götschel

    Maschinelles Lernen, vor allem deep learning, wird mittlerweile sehr erfolgreich in verschiedensten Anwendungen eingesetzt, etwa in der Bildverarbeitung, vor allem im Bezug auf inverse Probleme für bildgebende Verfahren in Medizin und Technik (zerstörungsfreies Prüfen). Die besten Ergebnisse werden dabei typischerweise erzielt, wenn Daten-getriebenes maschinelles Lernen mit physik-basierter Modellierung kombiniert wird. In diesem Vortrag werden verschiedene Ansätze dafür diskutiert.

  • Parametrisation Invariance of the Natural Gradient in Overparametrised Systems
    Nihat Ay

    The natural gradient field is a vector field that lives on a model equipped with a distinguished Riemannian metric, e.g. the Fisher-Rao metric, and represents the direction of steepest ascent of an objective function on the model with respect to this metric. In practice, one tries to obtain the corresponding direction on the parameter space by multiplying the ordinary gradient with the inverse of the Gram matrix associated with the metric. We refer to this vector on the parameter space as the natural parameter gradient. In this talk, we elaborate on the following question: When does the pushforward of the natural parameter gradient coincide with the actual natural gradient on the model? Furthermore, we present invariance properties of the natural parameter gradient. These issues are particularly relevant in an overparametrised setting.
    The presentation is based on joint work with Jesse van Oostrum and Johannes Rauh.