Integrační služba TeskaLabs LogMan.io

LogMan.io Integ umožňuje integraci TeskaLabs LogMan.io se službou podporovanými externími systémy prostřednictvím očekávaného formátu zpráv a výstupního/vstupního protokolu.

LogMan.io Integ využívá deklarativní transformátory specifikované v souborech YAML a uložené ve skupině (jako integ atd.). v knihovně LogMan.io.

Konfigurace

Propojení LogMan.io s externím systémem, jako je ArcSight, nakonfigurujte instanci LogMan.io Integ, a zároveň zadejte skupinu transformátorů, Kafka vstup a Kafka nebo TCP výstup(y) ve vlastních sekcích jako MyTCPOutput:

# Nastavit transformátory

[deklarace]
library=/library
groups=integ
include_search_path=filters/*

# Nastavit vstup

[connection:KafkaConnection]
bootstrap_servers=lm1:19092,lm2:29092,lm3:39092

[pipeline:TransformersPipeline:KafkaSource]
topic=lmio-events

# Nastavit výstup(y) - vybírají je jednotlivé transformátory

[MyTCPOutput]
address=lm1:9999

[MyKafkaOutput]
topic=lmio-output

Transformátory

Transformátory jsou deklarativní procesory, které vytvářejí vlastní vyhrazenou pipeline s KafkaSource. a výstupním sinkem.

Příklad

---
define:
  název: ArcSight Transformer for Correlations
  typ: transformer/default
   format: string

output:
  - typ: kafka/tcp/unix-stream/null
    config: MyTCPOutput
    formát: string/json
    latch: 0

predikát:
  !EQ
  - !ITEM EVENT typ
  - Korelace

transformovat:
  !JOIN
  oddělovač: ""
  items:
  - !JOIN
    delimiter: "|"
    items:
    - CEF:0
    - TeskaLabs
    - LogMan.io
    - 1.2.3
    - !ITEM EVENT name
  - !DICT.FORMAT
    co: !EVENT
    typ: cef

Sekce define

Tato sekce obsahuje společnou definici a metadata.

Položka name

Kratší lidsky čitelný název této deklarace.

Item type

Typ této deklarace, musí být transformer/default.

Položka description (nepovinné)

Dlouhý, případně víceřádkový, lidsky čitelný popis deklarace.

Položka field_alias (nepovinné)

Název vyhledávače aliasů polí, který se má načíst, aby bylo možné v deklaraci použít aliasové názvy atributů událostí vedle jejich kanonických názvů.

Sekce output

Sekce output určuje seznamy výstupů.

Položka type

Typ výstupu, např. kafka, unix-stream, tcp, null.

Položka format

Formát události vytvořené transformátorem, buď string, nebo json (výchozí: string).

Položka config

Konfigurační část pro daný výstup uložená v souboru .conf, například MyKafkaOutput nebo MyTCPOutput (viz konfigurační část výše).

Zadejte topic pro výstup Kafka a address pro TCP/Unix Stream.

Položka latch

Pokud je nastaveno, výstupní události se ukládají do fronty latch, aby byly přístupné prostřednictvím pravidelného volání API na /latch. Počet uložených událostí se předává prostřednictvím hodnoty, f. e. latch: 30 bude uchovávat posledních 30 událostí pro každý transformátor. Výchozí hodnota: !!null.

Sekce predikát (nepovinné)

Predikát filtruje příchozí události pomocí výrazu. Pokud výraz vrátí hodnotu True, vstoupí událost do sekce transform. Pokud výraz vrátí False, událost se přeskočí.

Ostatní vrácené hodnoty jsou nedefinované.

Tuto sekci lze použít k urychlení integrace přeskočením řádků se zjevně nerelevantním obsahem.

Včetně vnořených predikátových filtrů

Predikátové filtry jsou výrazy umístěné ve vyhrazeném souboru, které lze zahrnout do mnoha různých predikátů jako jejich části.

Pokud chcete zahrnout externí filtr predikátu, který se nachází buď ve složce include, nebo ve složce filters. (jedná se o globální složku umístěnou v nejvyšší hierarchii knihovny LogMan.io), použijte příkaz !INCLUDE:

!INCLUDE predicate_filter

kde predicate_filter je název souboru s příponou .yaml. Obsahem souboru predicate_filter.yaml je výraz, který má být zahrnut, jako např:

---
!EQ
- !ITEM EVENT category
- "MyEventCategory"

Sekce transform

Tato sekce určuje vlastní transformační mechanismus. Očekává, že bude vrácen slovník nebo None, což znamená, že transformace nebyla úspěšná.