#194 Was wurde aus MapReduce und der funktionalen Eleganz in verteilten Systemen?

Engineering Kiosk

MapReduce: Ein Deep Dive

Im Jahr 2004 war die Verarbeitung von großen Datenmengen eine richtige Herausforderung. Einige Firmen hatten dafür sogenannte Supercomputer. Andere haben nur mit der Schulter gezuckt und auf das Ende ihrer Berechnung gewartet. Google war einer der Player, der zwar große Datenmengen hatte und diese auch verarbeiten wollte, jedoch keine Supercomputer zur Verfügung hatte. Oder besser gesagt: Nicht das Geld in die Hand nehmen wollte.

Was macht man also, wenn man ein Problem hat? Eine Lösung suchen. Das hat Jeffrey Dean und sein Team getan. Das Ergebnis? Ein revolutionäres Paper, wie man mittels MapReduce große Datenmengen verteilt auf einfacher Commodity-Hardware verarbeiten kann.

In dieser Podcast-Episode schauen wir uns das mal genauer an. Wir klären, was MapReduce ist, wie es funktioniert, warum MapReduce so revolutionär war, wie es mit Hardware-Ausfällen umgegangen ist, welche Herausforderungen in der Praxis hatte bzw. immer noch hat, was das Google File System, Hadoop und HDFS damit zu tun haben und ordnen MapReduce im Kontext der heutigen Technologien mit Cloud und Co ein.

Eine weitere Episode “Papers We Love”.

Bonus: Hadoop ist wohl der Elefant im Raum.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Anregungen, Gedanken, Themen und Wünsche

Dein Feedback zählt! Erreiche uns über einen der folgenden Kanäle …

• EngKiosk Community: https://engineeringkiosk.dev/join-discord
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Email: [email protected]
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Instagram: https://www.instagram.com/engineeringkiosk/

Unterstütze den Engineering Kiosk

Wenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns immer

• Buy us a coffee: https://engineeringkiosk.dev/kaffee

Links

• MapReduce: Simplified Data Processing on Large Clusters: https://static.googleusercontent.com/media/research.google.com/en//archive/mapreduce-osdi04.pdf
• Apache Hadoop: https://hadoop.apache.org/
• HDFS Architecture Guide: https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
• Engineering Kiosk Episode #180 Skalierung, aber zu welchem Preis? (Papers We Love): https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/

Sprungmarken

(00:00:00) MapReduce: Ein Deep Dive

(00:04:32) Info/Werbung

(00:05:32) MapReduce: Ein Deep Dive

(00:15:05) Storage: Google File System (GFS) und Hadoop Distributed File System (HDFS)

(00:21:27) Wie funktioniert MapReduce?

(00:38:10) Seiteneffekte, Determinismus und Reproduzierbarkeit

(00:40:42) Produktanforderung: Welche Seiten sind in welcher Altersgruppe populär?

(00:47:48) Batch vs. Streaming

(00:50:23) Heutige Relevanz von MapReduce

Hosts

• Wolfgang Gassler (https://gassler.dev)
• Andy Grunwald (https://andygrunwald.com/)

Community

Diskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in unserer Engineering Kiosk Community unter https://engineeringkiosk.dev/join-discord