Vytváření nových event lane

Zde se můžete naučit, jak vytvořit novou event lane a vybrat pro ni správná pravidla parsování.

Event lane a její vlastnosti (pravidla parsování, obsah, kategorizace logů atd.) jsou založeny na datových tocích. TeskaLabs LogMan.io automaticky přiřazuje event lane na základě názvu datového toku a šablon event lane.

Existují dva případy pro připojení nového logového zdroje:

• Když připojíte logový zdroj, pro který je obsah již k dispozici v Knihovně, event lane je vytvořena na základě příslušné šablony event lane a názvu datového toku, který poskytnete.

• Když připojíte logový zdroj, pro který obsah není poskytnut, event lane je vytvořena, ale neposkytuje žádný obsah, kategorizaci ani pravidla parsování. Tyto musí být vytvořeny a specifikovány v deklaraci event lane.

Datové toky

Data v TeskaLabs LogMan.io jsou organizována do datových toků. Datový tok je sbírka logů (událostí) z logového zdroje, které sdílejí stejný typ a strukturu.

Logy v jednom datovém toku nemusí být nutně spojeny s jedním logovým zařízením. Může existovat mnoho logových zařízení, která produkují logy stejného typu.

Například můžete mít pět různých logových zařízení, která produkují data ve stejném (nebo podobném) formátu (např. Linux servery):

<123> Dec 12 12:20:00 host-1 proces: ...
<123> Dec 12 12:20:00 host-2 proces: ...
<123> Dec 12 12:20:00 host-3 proces: ...
<123> Dec 12 12:20:00 host-4 proces: ...
<123> Dec 12 12:20:00 host-5 proces: ...

V tomto případě můžete vybrat jeden datový tok pro tato logová zařízení a považovat všechna logová zařízení za jeden logový zdroj. Avšak když jedno z logových zařízení produkuje logy jiného typu:

<123>1 2024-12-12T12:20:00.000001 host-x proces tag: ...

měli byste to považovat za jiný logový zdroj a vytvořit pro něj samostatný datový tok, aby mohla být aplikována různá pravidla parsování.

Jak pojmenovat datový tok? (1/2)

Názvy toků jsou používány jako reference pro LogMan.io k výběru správné event lane. Proto je výběr správného názvu toku zásadní!

Název toku se obvykle skládá z názvu dodavatele, technologie a číselné identifikace. Zde je několik příkladů názvů toků:

cisco-asa-1
cisco-asa-2
linux-rsyslog-1
microsoft-365-1
synology-nas-1

Přečtěte si více o tom, jak vybrat správný název toku níže.

Obecný datový tok

Po instalaci LogMan.io Collector a připojení logových zdrojů jsou všechna data shromážděna do jednoho obecného toku. Jsou uložena v Archivu a Elasticsearch. Na události v obecném toku se neuplatňují žádná specifická pravidla parsování.

Pro aplikaci specifických pravidel parsování a kategorizaci událostí vytvořte nové datové toky.

Jak vytvořit nový datový tok

V tomto příkladu vás provedeme, jak vytvořit nový datový tok.

Předpokládejme, že chcete vytvořit datový tok pro logy přicházející z IP adresy 127.0.0.1.

1. Otevřete webovou aplikaci TeskaLabs LogMan.io. Přejděte na Archiv.

   

2. Vyberte obecný tok. Uvidíte seznam surových logů z různých IP adres.

   • Shromážděno: Čas, kdy byl log shromážděn LogMan.io Collector
   • Přijato: Čas, kdy byl log přijat LogMan.io Receiver.
   • Zdroj: Informace o původu logu, složené z IP adresy, portu a protokolu. Hodnoty protokolu mohou být následující:
     • S: Tok / TCP protokol
     • D: Datagram / UDP protokol
     • T: TLS / SSL protokol

   

3. Otevřete Logové zdroje >> Collectors. Najděte kolektor podle jeho štítku nebo identity.

   

4. Otevřete kartu Vlastní. Zde můžete vybrat datové toky na základě IP adres, portů a protokolů. Sledujte tento odkaz pro podrobnosti o konfiguraci LogMan.io Collector. Všimněte si, že název toku je důležitý.

   Příklad konfigurace LogMan.io Collector

   classification:
     syslog-1514: &syslog-1514
   
       # Názvy toků
       my-stream-1:
         - { ip: 127.0.0.1 }
   
   input:SmartDatagram:smart-udp-1514:
     address: '1514'
     output: smart
     smart: *syslog-1514
   
   input:SmartStream:smart-tcp-1514:
     address: '1514'
     output: smart
     smart: *syslog-1514
     output:CommLink:smart: {}
   

   

   Klikněte na Použít.

5. Od nynějška jsou logy přicházející z IP adresy 127.0.0.1 odesílány do datového toku my-stream-1. Otevřete Archiv. Najděte tok my-stream-1. Uvidíte přicházející logy z toku.

   

   Info

   Jakmile je log uložen v Archivu, nemůže být přesunut do jiného datového toku (Archiv je neměnná databáze).

Jak vytvořit event lane

Event lane jsou vytvářeny ze šablon event lane. Šablona event lane popisuje vlastnosti datového toku, které budou aplikovány na event lane. Má svou deklaraci v Knihovně:

/Templates/EventLanes/Linux/linux-rsyslog.yaml

---
define:
  type: lmio/event-lane-template
  name: Linux Rsyslog  # Čitelný název datového toku
  stream: linux-rsyslog-*  # Reference na název toku

# Kategorizace logového zdroje
logsource:
  product:
    - linux
  service:
    - syslog

# Pravidla parsování, která se mají aplikovat na event lane
parsec:
  name: /Parsers/Linux/Common/

# Obsah, který se má povolit při vytváření event lane
content:
  dashboards: /Dashboards/Linux/Common/

Po nalezení nového datového toku je spárován s jednou z šablon event lane. Nová event lane bude vytvořena a zdědí vlastnosti této šablony. Nová deklarace pro event lane bude vytvořena v Knihovně:

/EventLanes/company/linux-rsyslog-1.yaml

---
define:
  type: lmio/event-lane-template
  name: Linux Rsyslog (1)
  template: /Templates/EventLanes/Linux/linux-rsyslog.yaml

logsource:
  product:
    - linux
  service:
    - syslog

parsec:
  name: /Parsers/Linux/Common/
  instances: 2

content:
  dashboards: /Dashboards/Linux/Common/

kafka:
  received:
    topic: received.company.linux-rsyslog-1
  events:
    topic: events.company.linux-rsyslog-1
  others:
    topic: others.company.linux-rsyslog-1

elasticsearch:
  events:
    index: lmio-company-events-linux-rsyslog-1
  others:
    index: lmio-company-others

Deklarace event lane kopíruje vlastnosti datového toku z jeho šablony a přidává informace o:

• jaké Kafka témata a Elasticsearch indexy budou použity
• kolik instancí mikroservisu LogMan.io Parsec poběží uvnitř clusteru LogMan.io

Jak pojmenovat datový tok? (2/2)

Když vyberete název toku, který odpovídá jedné z šablon event lane, odpovídající event lane zdědí její vlastnosti (pravidla parsování, obsah Knihovny, kategorizaci atd.).

Předpokládejme, že chcete připojit logový zdroj typu Linux Rsyslog. Můžete najít vhodnou technologii v šablonách event lane:

/Templates/EventLanes/Linux/linux-rsyslog.yaml

---
define:
  type: lmio/event-lane-template
  name: Linux Rsyslog  # Čitelný název datového toku
  stream: linux-rsyslog-*  # Reference na název toku

Hvězdička * na konci možnosti stream odpovídá libovolnému číslu. Proto můžete pojmenovat svůj datový tok linux-rsyslog-1, linux-rsyslog-2 atd.

Odpovídající event lane pak zdědí název toku:

---
define:
  type: lmio/event-lane
  name: Linux Rsyslog (1)
  template: /Templates/EventLanes/Linux/linux-rsyslog.yaml

Pravidla parsování a další vlastnosti event lane mohou být změněny ručně, takže není žádné riziko při výběru nesprávného názvu toku při prvním pokusu.

Obecné šablony

Když není nalezena žádná šablona event lane pro daný název datového toku, je event lane pro odpovídající datový tok vytvořena ze šablony Obecné event lane. Obecná šablona aplikuje pouze nejzákladnější pravidla parsování na datový tok a neposkytuje žádné konkrétní informace o logovém zdroji.

Když připojíte logový zdroj neznámého typu nebo typu, který neexistuje v šablonách event lane, event lane bude odvozena z obecné šablony. Vlastnosti této event lane můžete později upravit.