Show Menu
Cheatography

Kafka benutzen

Die einzelnen Starter

# zookee­per.pr­ope­rties
# the directory where the snapshot is stored.
dataD­ir=­/tm­p/z­ook­eeper
# the port at which the clients will connect
clien­tPo­rt=­2181
# disable the per-ip limit on the number of connec­tions since this is a non-pr­odu­ction config
maxCl­ien­tCn­xns=0

# Zookeeper starten
bin/z­ook­eep­er-­ser­ver­-st­art.sh config­/zo­oke­epe­r.p­rop­erties

# server.pr­ope­rties
# The minimum age of a log file to be eligible for deletion due to age
log.r­ete­nti­on.h­ou­rs=168
# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.re­ten­tio­n.b­ytes. Functions indepe­ndently of log.re­ten­tio­n.h­ours.
#log.r­et­ent­ion.by­tes­=10­737­41824
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.s­egm­ent.by­tes­=10­737­41824
# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.r­ete­nti­on.c­he­ck.i­nt­erv­al.m­s=­300000
##### Zookeeper ######­###­###­###­###­###­###­#####
'zooke­epe­r.c­onn­ect­=lo­cal­hos­t:2181'
# Timeout in ms for connecting to zookeeper
zooke­epe­r.c­onn­ect­ion.ti­meo­ut.m­s=­6000

# Broker (Server) starten
bin/k­afk­a-s­erv­er-­sta­rt.sh config­/se­rve­r.p­rop­erties

# Topic test erstellen
bin/k­afk­a-t­opi­cs.sh \
--create --zook­eeper localh­ost­:2181 \
--repl­ica­tio­n-f­actor 1 \
--part­itions 1 \
--topic test \

# Topics auflisten
bin/k­afk­a-t­opi­cs.sh --list --zook­eeper localh­ost­:2181
 

Setup / Instal­lation

Kafka wurde von LinkedIn entwickelt und ist inzwischen ein Open Source Projekt der Apache Software Founda­tion. Die Firma hinter Kafka heißt Confluent, sie wurde von den Entwickler aus LinkedIn ausgeg­ründet. Das bedeutet aber nicht, dass es nicht noch viele weitere Firmen gibt welche Teile des Kafka Universums bereit­ste­llen.

Quicks­tart: https:­//k­afk­a.a­pac­he.o­rg­/qu­ick­start
Download: https:­//w­ww.a­pa­che.or­g/d­yn/­clo­ser.cg­i?p­ath­=/k­afka/
Docker Container: https:­//h­ub.d­oc­ker.co­m/r­/co­nfl­uen­t/kafka
Ökosystem: https:­//c­wik­i.a­pac­he.o­rg­/co­nfl­uen­ce/­dis­pla­y/K­AFK­A/E­cos­ystem
Offene Punkte: Mit ein wenig Historie fragt man sich warum es Cocoon nie zu einem Status wie Kafka geschafft hat oder was sind eigentlich die Unters­chiede zwischen Cocoon und Kafka und lässt sich Kafka Streaming mit einer Cocoon Pipeline kombin­ieren. Hier gibts Infos zu Cocoon

System­aufbau / Hierarchie

Im Kafka Universum wird die Welt wie folgt von abstrakt zu konkret herunter gebrochen:

* Cluster
* DataCenter
* Rack
* Instanz
 

Comments

No comments yet. Add yours below!

Add a Comment

Your Comment

Please enter your name.

    Please enter your email address

      Please enter your Comment.

          More Cheat Sheets by FunThomas424242

          Praktische Java Libs Cheat Sheet
          Erstellung Barrierefreiher Webseiten Cheat Sheet
          TMux Tastenkürzel Keyboard Shortcuts