Apache Kafka¶

Apache Kafka slouží jako fronta pro dočasné ukládání událostí mezi mikroservisy LogMan.io. Pro více informací viz Architektura.

Apache Kafka v LogMan.io¶

Pojmenování témat v událostních lanech¶

Každý událostní lane má specifikována témata received, events a others.

Každé jméno tématu obsahuje název nájemce a proud událostí lane následujícím způsobem:

received.tenant.stream
events.tenant.stream
others.tenant

received.tenant.stream¶

Téma received ukládá příchozí protokoly pro příchozího tenant a proud událostí stream.

events.tenant.stream¶

Téma events ukládá analyzované události pro daný událostní lane definovaný tenant a stream.

others.tenant¶

Téma others ukládá neanalyzované události pro daného tenant.

Interní témata¶

Existují následující interní témata pro LogMan.io:

lmio-alerts¶

Toto téma ukládá vyvolané upozornění a je čteno mikroservisem LogMan.io Alerts.

lmio-notifications¶

Toto téma ukládá vyvolané notifikace a je čteno mikroservisem ASAB IRIS.

lmio-lookups¶

Toto téma ukládá požadované změny v lookupech a je čteno mikroservisem LogMan.io Watcher.

Doporučené nastavení pro 3-uzlový klastr¶

Existují tři instance Apache Kafka, jedna na každém uzlu.

Počet partition pro každé téma musí být alespoň stejný jako počet spotřebitelů (3) a dělitelný 2, proto je doporučený počet partition vždy 6.

Doporučený počet replik je 1.

Každé téma musí mít nastavenou rozumnou dobu uchovávání na základě dostupné velikosti SSD disků.

V prostředí klastru LogMan.io, kde je průměrný EPS nad 1000 událostí za sekundu a prostor na SSD disku je pod 2 TB, je doba uchovávání obvykle 1 den (86400000 milisekund). Viz sekce Příkazy.

Hint

Když je EPS nižší nebo je více místa na SSD, doporučuje se nastavit dobu uchovávání pro Kafka témata na vyšší hodnoty, jako jsou 2 nebo více dnů, aby administrátoři měli více času na řešení potenciálních problémů.

Pro správné vytvoření partition, replik a doby uchovávání viz sekce Příkazy.