Apache Kafka

Stellt Daten aus mehreren Datenbanken bereit.

Source-Connectoren: Lesen die Daten von den Datenbanken und stellen sie in Kafka bereit

Sink-Connectoren: liest die Daten aus

Z.B. können Analyse-Tools die bereitgestellten Daten für Entscheidungen nutzen

Broker (einzelne Kafka-Server im Cluster) vermitteln Messages zw. Producern und Consumern anhand von Topics

Topics beschreiben einen Kontex (Analogien: Ordner, DB-Tabellen) für Messages und gliedern sich in Partitionen

Messages bestehen aus einem Byte-Array

Producer schreiben Messages in Topic-Partitionen

Consumer lesen Messages von Topic-Partitionen

Partitionen enthalten eine Teilmenge der Messages zu einem Topic

Consumer-Groups lesen jeweils alle Messages eines Topis genau einmal

kafka-topics \
--create \
--topics meintopic \
--bootstrap-server localhost:9092 \
--partitions 2

kafka-topics --list --zookeeper localhost:2181