TeskaLabs LogMan.io Architektura

lmio-collector

LogMan.io Collector slouží k přijímání logů z různých zdrojů, jako je SysLog NG, soubory, Windows Event Forwarding, databáze prostřednictvím konektorů ODBC atd. Logy mohou být dále zpracovávat deklarativním procesorem a vkládat do LogMan.io Ingestor prostřednictvím WebSocket.

lmio-ingestor

LogMan.io Ingestor přijímá události přes WebSocket, transformuje je do formátu čitelného pro Kafku. a vloží je do tématu Kafka collected-. Existuje více ingestorů pro různé formátů událostí, například SysLog, databáze, XML atd.

lmio-parser

LogMan.io Parser běží ve více instancích pro příjem různých formátů příchozích událostí. (různá témata Kafky) a/nebo stejné události (instance pak běží ve stejné skupině Kafky). a události se mezi ně rozdělují). LogMan.io Parser načítá knihovnu LogMan.io prostřednictvím ZooKeeper nebo ze souborů načítat deklarativní parsery a obohacovače z nakonfigurovaných skupin parsování.

Pokud byly události analyzovány načteným parserem, jsou vloženy do Kafka tématu lmio-events, v opačném případě vstoupí do tématu lmio-others Kafka.

lmio-dispatcher

LogMan.io Dispatcher načítá události z tématu lmio-events Kafka a odesílá je jak všem přihlášeným (přes ZooKeeper) instancím LogMan.io Correlator a ElasticSearch v systému příslušném indexu, kde lze všechny události vyhledávat a vizualizovat pomocí Kibany.

LogMan.io Dispatcher běží také ve více instancích.

lmio-correlator

LogMan.io Correlator používá ZooKeeper k odběru všech instancí LogMan.io Dispatcher. pro příjem analyzovaných událostí (logů atd.). Poté LogMan.io Correlator načte knihovnu LogMan.io. ze ZooKeeperu nebo ze souborů a vytváří korelátory na základě deklarativní konfigurace. Události vytvořené korelátory (Window Correlator, Match Correlator) jsou pak předávány dolů LogMan.io Dispatcher a LogMan.io Watcher prostřednictvím Kafky.

lmio-watcher

LogMan.io Watcher sleduje změny ve vyhledávačích používaných v LogMan.io parserech a LogMan.io korelátorech. instance. Když dojde ke změně, jsou upozorněny všechny spuštěné komponenty, které používají knihovnu LogMan.io. prostřednictvím tématu Kafka lmio-lookups o této změně a vyhledávání je aktualizováno v ElasticSearch, který slouží jako trvalé úložiště pro všechna vyhledávání.

lmio-integ

LogMan.io Integ umožňuje integraci LogMan.io s podporovanými externími systémy prostřednictvím očekávaného formátu zpráv. a výstupního/vstupního protokolu.