08.079.548 Big Data

Lehrende/r: Dr. rer. nat. Thomas Kemmer

Veranstaltungsart: Vorlesung/Übung

Anzeige im Stundenplan: 08.079.548

Credits: 6,0

Unterrichtssprache: Deutsch

Min. | Max. Teilnehmerzahl: - | -

Voraussetzungen / Organisatorisches:
Für diese Veranstaltung sind allgemeine Programmierkenntnisse erforderlich. Wir werden uns in den Übungen hauptsächlich mit der Programmiersprache Scala beschäftigen, daher sind Vorkenntnisse durchaus hilfreich, wenn auch nicht zwingend notwendig.

Die Veranstaltung beinhaltet einen mehrwöchigen Projektteil vor Ende der Vorlesungszeit, in dem die erlernten Techniken an "echten" Datensätzen angewendet werden sollen (z. B. Twitter, Reddit, Wikimedia). Die Projektarbeiten ersetzen dafür in dem Zeitraum den normalen Übungsbetrieb.

Inhalt:

• Was is Big Data?
  
• Grenzen der Aussagekraft
  
• Skalierbarkeit
  
• Verteilte Dateisysteme
  
• Map-Reduce-Modell
  
• Komplexitätsanalyse von Map-Reduce-Programmen
  
• Erweiterung des Map-Reduce-Modells
  
• Framework: Apache Spark (Scala)
  
• Use cases: PageRank, Clustering, Recommender Systems
  

Empfohlene Literatur:
J. Leskovec et al. Mining of Massive Datasets, 3rd Ed. Cambridge University Press. 2020. (Kostenlos verfügbar über http://www.mmds.org/)
J. Damji et al. Learning Spark: Lightning-Fast Data Analytics, 2en Ed. O'Reilly. 2020.