Sběr událostí z Apache Kafka

Tato volba je k dispozici od verze v22.32

TeskaLabs LogMan.io Collector umí sbírat události z Apache Kafka, konkrétně z jeho témat. Události uložené v Kafce mohou obsahovat jakákoli data kódovaná v bajtech, například protokoly o různých akcích uživatelů, správců, systému, zařízení a zásad.

Předpoklady

Pro vytvoření konzumenta Kafka je třeba znát boostrap_servers, tedy umístění uzlů Kafka, a také topic, odkud se mají data číst.

Vstupní nastavení kolektoru LogMan.io

LogMan.io Collector poskytuje vstupní sekci input:Kafka:, kterou je třeba zadat v konfiguraci YAML. Konfigurace vypadá následovně:

input:Kafka:KafkaInput:
  bootstrap_servers: <BOOTSTRAP_SERVERS>
  topic: <TOPIC>
  group_id: <GROUP_ID>
  ...

Vstup vytvoří konzumenta Kafky pro konkrétní .topic(y).

Možnosti konfigurace související s navázáním spojení:

bootstrap_servers: # uzly Kafka, ze kterých se mají zprávy číst (například `kafka1:9092,kafka2:9092,kafka3:9092`)

Konfigurační možnosti související s nastavením Kafka Consumer:

topic:  # Název témat, ze kterých se mají zprávy číst (například `lmio-events` nebo `^lmio.*`)
group_id:  # Název skupiny spotřebitelů (například: `collector_kafka_consumer`)
refresh_topics:  # (nepovinné) Pokud se očekává, že během konzumace bude vytvořeno více témat odpovídajících názvu tématu, tato volba určuje v sekundách, jak často se mají obnovovat odběry témat (například: `300`).

Volby bootstrap_servers, topic a group_id jsou vždy povinné.

topic může být jméno, seznam jmen oddělených mezerami nebo jednoduchý regex (pro porovnání všech dostupných témat použijte ^.*)

Další možnosti konfigurace naleznete v https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md.