Kafka Topics
Výchozí témata LogMan.io
Následující témata jsou výchozí témata LogMan.io, která se používají k předávání zpracovaných událostí (řádků protokolu) mezi jednotlivými komponentami, jako je LogMan.io Ingestor, LogMan.io Parser atd. Viz následující tabulka:
| Kafka | Popis | Kafka consumer groups | Producer pipelines | Consumer pipelines |
|---|---|---|---|---|
| lmio-lookups | Ukládá události vyhledávání, například informace o aktualizaci položky vyhledávání atd. | lmio-parser-x, lmio-correlator-x, lmio-watcher | parser/LookupModificationPipeline, correlator/LookupModificationPipeline, watcher/LookupChangeStreamPipeline, parser/ParsersPipeline | parser/LookupChangeStreamPipeline correlator/LookupChangeStreamPipeline watcher/LookupModificationPipeline parser/ParsersPipeline |
| lmio-output | Ukládá parsované výstupní korelace/alarty i události vyhledávání. | lmio-integ, lmio-watcher-output | correlator/OutputPipeline, parser/ParsersPipeline | integ/ArcSightPipeline watcher/OutputToInputPipeline |
| lmio-events | Ukládá analyzované události protokolu. | lmio-dispatcher, lmio_correlator-x | parser/EnrichersPipeline, watcher/OutputToInputPipeline, watcher/LookupLogPipeline, dispatcher/ToEventsPipeline | dispatcher/EventsPipeline |
| lmio-others | Ukládá neparsované události protokolu a chyby parsování. | lmio-dispatcher | parser/ErrorPipeline, dispatcher/ToOthersPipeline | dispatcher/OthersPipeline |
Výchozí témata jsou přítomna při každém nasazení LogMan.io a lze je nastavit pomocí inicializátoru témat Kafka v LogMan.io Parseru.
Témata LogMan.io pro shromážděné události
Témata pro sbírané události jsou specifická pro každý typ datového zdroje a nájemce (zákazníka). Standard pro pojmenování takových témat Kafka je následující:
collected-<tenant>-<type>
kde tenant je název tenantu psaný malými písmeny a typ je typ zdroje dat. Mezi příklady patří např:
collected-railway-syslog
collected-ministry-files
collected-johnandson-databases
Souhrn je uveden v následující tabulce:
| Kafka topic | Description | Kafka consumer groups | Producer pipelines | Consumer pipelines |
|---|---|---|---|---|
| collected-tenant-type | Ukládá surové shromážděné protokoly pro tenant v datovém typu type. |
lmio-parser-* | ingestor/WebSocketPipeline | parser/ParsersPipeline |