Konfigurace Depositoru¶

Vzor konfigurace¶

Toto je nejzákladnější konfigurace potřebná pro LogMan.io Depositor:

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

[library]
providers=zk:///library

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

[elasticsearch]
url=http://es01:9200

Zookeeper¶

Určete umístění serveru Zookeeper v clusteru.

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

Hint

Pro neprodukční nasazení je možné použít jediný server Zookeeper.

Knihovna¶

Určete cestu(y) ke knihovně, ze které se mají provést nahrávky deklarací.

[library]
providers=zk:///library

Hint

Protože je standardně využíváno schéma ECS.yaml v /Schemas, zvažte použití LogMan.io Common Library.

Kafka¶

Určete bootstrap servery Kafka clusteru.

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

Hint

Pro neprodukční nasazení je možné použít jediný server Kafka.

Elasticsearch¶

Určete URL adresy master nodů Elasticsearch.

Sekce ESConnection se používá pro nastavení pokročilých parametrů připojení (viz níže).

Sekce elasticsearch se používá pro ukládání URL a autentizačních údajů.

Sekce asab:storage se používá pro explicitní povolení inicializace úložiště.

[asab:storage]
type=elasticsearch

[connection:ESConnection]
precise_error_handling=true
bulk_out_max_size=1582912
output_queue_max_size=5
loader_per_url=1
cluster_status_throttle=red
cluster_status_unthrottle=green
active_shards_percent_throttle=50
retry_errors=unavailable_shards_exception
throttle_errors=circuit_breaking_exception

[elasticsearch]
url=http://es01:9201
username=MYUSERNAME
password=MYPASSWORD

Hint

URL by mělo směřovat na hot node Elasticsearch na stejném serveru, kde je nasazen Depositor.

Pokročilé nastavení připojení k Elasticsearch¶

precise_error_handling¶

Určuje, že Elasticsearch by měl vracet informace o tom, které události způsobili problém spolu s chybou.

bulk_out_max_size¶

Velikost jednoho bulk požadavku odesílaného do Elasticsearch v bajtech.

Události jsou seskupeny do bulků, aby se snížil počet požadavků odesílaných do Elasticsearch.

output_queue_max_size¶

Maximální velikost fronty pro bulks Elasticsearch.

Pokud je číslo překročeno, daný pipeline je throttlován.

loader_per_url¶

Počet úkolů/loaderů na URL. Určuje počet požadavků, které mohou být současně odeslány na každou URL uvedenou v atributu URL.

cluster_status_throttle¶

Stav, do kterého musí cluster vstoupit, aby se Depositor zastavil/throttloval. Lze nastavit na none.

Default: red

Možnosti: red, yellow, none

cluster_status_unthrottle¶

Stav, do kterého musí cluster vstoupit, aby se Depositor obnovil/unthrottloval, pokud byl throttlovaný.

Default: green

Možnosti: red, yellow, green

active_shards_percent_throttle¶

Minimální procento celkových shardů, které musí být aktivní/dostupné, aby Depositor mohl odesílat události.

Hodnota, která je pročentem, by měla být nastavena na 100 / (počet replik + 1).

Default: 50

retry_errors¶

Seznam chyb, které lze opakovat, oddělených čárkou, které způsobí opětné odeslání události do indexu událostí specifikovaného v event lane.

Note

Tato konfigurační volba je ve většině případů zbytečná, a proto se doporučuje ji z konfigurace vyloučit.

throttle_errors¶

Seznam chyb, oddělených čárkou, které způsobí throttle Dispatcheru, dokud nebudou vyřešeny.

Note

Tato konfigurační volba je ve většině případů zbytečná, a proto se doporučuje ji z konfigurace vyloučit.

Deklarace¶

Volitelná sekce pro určení, odkud načíst deklarace event lane a které schéma bude použito jako výchozí (pokud není specifikováno v dané deklaraci event lane).

[declarations]
path=/EventLanes/
schema=/Schemas/ECS.yaml

Hint

Ujistěte se, že změníte schéma, pokud používáte jiné schéma než ECS ve vašem nasazení jako výchozí. Změna cesty pro event lanes se nedoporučuje.