08.079.318 Modellierung II

Veranstaltungsdetails

Lehrende/r: Univ.-Prof. Dr. Michael Wand

Veranstaltungsart: Vorlesung/Übung

Anzeige im Stundenplan: 08.079.318

Semesterwochenstunden: 4

Credits: 6,0

Unterrichtssprache: Deutsch

Min. | Max. Teilnehmerzahl: - | -

Voraussetzungen / Organisatorisches:
Die Vorlesung setzt formal die Inhalte von Modelierung 1 voraus, aber gute Kenntnisse in Mathematik (Nebenfach oder Hauptfach Mathematik/Physik) sind i.d.R. ebenfalls ausreichend.
Vorkenntnisse in maschinellem Lernen und/oder Computer Vision sind sehr hilfreich, aber nicht zwingend erforderlich (wir starten, falls nötig, mit einer Kurzeinführung).
 

Inhalt:
Während der erste Teil (Modellierung I) sich vor allem elementare Methoden (größtenteils auf Basis linearer Modelle) angeschaut hat, geht es nun darum, wie man statistische Informationen aus Daten extrahieren kann. Dabei steht methodisch vor allem das Lernens mit "tiefen Netzwerken" im Mittelpunkt. Konzeptionell dreht es sich um die Frage der Generalisierung: Wie und wann kann man aus Beispielen überhaupt verallgemeinern? Insbesondere ist immer noch Gegenstandt aktueller Forschung, warum tiefe Netzwerke so gut funktionieren (d.h., so gut generalisieren). Gegen Ende der Veranstaltung werden wir einige Ansätze sehen, mit denen man sich diesen Fragen nähern kann.

Die Veranstaltung setzt zwar keine Vorkenntnisse in maschinellem Lernen voraus, die Einführung in die Grundbegriffe wird aber kompakt gehalten und methodische Themen sind komplementär zu der Grundvorlesung "Machine Learning" ausgelegt.

Behandelt werden u.a. die folgenden Inhalte:

1 Grundlagen


  • Einführung / Wiederholung Machine Learning (bei Bedarf)
  • Generalisierung, "Model Selection" und der Zusammenhang zu "Bayesschen" Methoden
  • Einführung Deep Learning

2 Klassische Verfahren (komplementär zur Vorlesung ML)

  • Matrixfaktorisierung, Einbettungen, Kernels
  • Gauß'sche Prozesse
  • Markov-Random Fields

3 Verständnis tiefer Netze ("A Deeper Look into Deep Learning")

  • Informationstheorie
  • Lineare Approximation von Netzen durch Gaussche Prozesse (Neural Tangent Kernel etc.)
  • "Double Descent" - das Generalisierungsverhalten überparametrisierter Netze/Modelle

Optionale Inhalte (falls Zeit ist):

  • Differentialgeometrische Modelle, Fischer-Information
  • Ideen aus der statistischen Physik (Symmetrie, Renormierung, Phasenübergänge)

Die Veranstaltung ist vor allem im letzten Teil thematisch forschungsnah und wendet sich eher an Studierende im Master (wobei interessierte Studierende im Bachelor trotzdem willkommen sind).

Empfohlene Literatur:
Weitere Literatur ist in der Webseite der Vorlesung angegeben.

Zusätzliche Informationen:
Wichtig: Die Veranstaltung wird (teilweise) als "blended-learning" Veranstaltung durchgeführt. Hierzu sollten Sie unbedingt die weiteren Informationen auf der Webseite der Veranstaltung unter

https://luna.informatik.uni-mainz.de/mod2-23/

durchlesen. Hier finden Sie auch bereits (fast) alle Vorlesungsvideos und weitere Angaben zu Organisation, Literatur und Hintergründen. Auf der Webseite finden Sie auch eine Anleitung, wie Sie sich beim Mattermost-Team der Veranstaltung anmelden können (dies sollten Sie unbedingt tun, falls Sie teilnehmen möchten).
 

Termine
Datum Von Bis Raum Lehrende/r
1 Mo, 24. Apr. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
2 Mo, 8. Mai 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
3 Mo, 15. Mai 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
4 Mo, 22. Mai 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
5 Mo, 5. Jun. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
6 Mo, 12. Jun. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
7 Mo, 19. Jun. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
8 Mo, 26. Jun. 2023 12:15 13:45 04 22404 432 Univ.-Prof. Dr. Michael Wand
9 Mo, 3. Jul. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
10 Mo, 10. Jul. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
11 Mo, 17. Jul. 2023 12:15 13:45 04 432 Univ.-Prof. Dr. Michael Wand
Veranstaltungseigene Prüfungen
Beschreibung Datum Lehrende/r Pflicht
1. Mündliche Prüfung k.Terminbuchung Ja
Übersicht der Kurstermine
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
Lehrende/r
Univ.-Prof. Dr. Michael Wand