Graylog: Aufbewahrung verwalten

Wie Sie die Protokollaufbewahrung konfigurieren

👋 Willkommen bei der Stackhero-Dokumentation!

Stackhero bietet eine einsatzbereite Graylog Cloud-Lösung, die zahlreiche Vorteile bietet, darunter:

• Unbegrenzter und dedizierter SMTP-E-Mail-Server inklusive.
• Mühelose Updates mit nur einem Klick.
• Anpassbarer Domainname gesichert mit HTTPS (zum Beispiel, https://logs.ihre-firma.com).
• Optimale Performance und robuste Sicherheit durch eine private und dedizierte VM.

Sparen Sie Zeit und vereinfachen Sie Ihr Leben: Es dauert nur 5 Minuten, um die Graylog Cloud Hosting-Lösung von Stackhero auszuprobieren!

Die Aufbewahrung definiert die Anzahl der Nachrichten, die in der OpenSearch-Datenbank gespeichert werden. Sie können die Aufbewahrung anhand der Nachrichtenanzahl, eines maximalen Alters oder einer Gesamtspeicherbegrenzung konfigurieren.

Beispielsweise können Sie festlegen, Nachrichten der letzten 365 Tage aufzubewahren, bis zu 200 Millionen Nachrichten zu speichern oder insgesamt 400 GB Speicherplatz zu reservieren.

Verständnis von Indizes

Bevor Sie Ihre Aufbewahrungsrichtlinie definieren, ist es wichtig zu verstehen, wie die von Graylog und OpenSearch verwendeten Indizes funktionieren. Stellen Sie sich Indizes als physische Behälter vor. Graylog „öffnet“ einen Behälter (einen Index) und legt eingehende Nachrichten darin ab. Sobald das diesem Behälter zugewiesene Kontingent überschritten wird, wird der Behälter geschlossen, ins Regal gestellt und ein neuer Behälter für die nächsten Nachrichten begonnen.

Sie können dieses Kontingent nach verschiedenen Kriterien festlegen:

1. Eine Anzahl von Nachrichten: „Speichere 20 Millionen Nachrichten pro Behälter, dann starte einen neuen.“
2. Eine zeitliche Begrenzung: „Nutze einen Behälter für 10 Tage, dann wechsle zu einem neuen.“
3. Eine Größenbegrenzung: „Speichere 20 GB pro Behälter, dann fahre mit dem nächsten fort.“

Es wird außerdem eine maximale Anzahl von Behältern definiert, die im Regal aufbewahrt werden können. Wird diese Anzahl überschritten, werden die ältesten Behälter automatisch gelöscht. Wenn Sie beispielsweise ein Maximum von 20 Behältern festlegen und 22 im Regal haben, werden die 2 ältesten Behälter entfernt.

In dieser Analogie stehen die Behälter für die Indizes, das Regal entspricht OpenSearch und die Maximalanzahl steht für die erlaubte Anzahl an Indizes.

Auswahl einer Rotationsstrategie

Graylog bietet drei Aufbewahrungsstrategien an:

1. „Index time“ definiert die maximale Dauer, für die Nachrichten in jedem Index aufbewahrt werden, z. B. 14 Tage pro Index.
2. „Index message count“ legt die maximale Anzahl an Nachrichten pro Index fest, z. B. 20 Millionen Nachrichten pro Index.
3. „Index size“ begrenzt die maximale Größe eines Index, z. B. 40 GB pro Index.

Sie können eine dieser Strategien entsprechend Ihren Anforderungen auswählen. Wenn Sie beispielsweise „Index time“ wählen, stellen Sie sicher, dass Sie immer Protokolle der letzten X Tage verfügbar haben.

Schätzen Sie Ihren Speicherplatzbedarf sorgfältig ein.

Wenn Sie beispielsweise 1 GB Protokolle pro Tag speichern und sich entscheiden, Protokolle der letzten 365 Tage aufzubewahren, benötigen Sie 365 GB Speicherplatz. Denken Sie daran, zusätzlich Betriebsspielraum zu reservieren (siehe unten).

Aufbewahrungsparameter festlegen

Standardmäßig begrenzt Graylog die Anzahl der Indizes auf 20. Sie können diesen Wert an Ihre Anforderungen anpassen. Wenn Sie beispielsweise Protokolle der letzten 365 Tage speichern möchten, können Sie die Aufbewahrung auf die Indizes verteilen, indem Sie 365 Tage durch 20 Indizes teilen, was etwa 19 Tage pro Index ergibt.

Ähnliche Berechnungen können Sie für die anderen Strategien durchführen:

1. Für die Strategie „Index message count“: Wenn Sie 200 Millionen Nachrichten mit maximal 20 Indizes aufbewahren möchten, ergibt 200 Millionen geteilt durch 20 Indizes 10 Millionen Nachrichten pro Index.
2. Für die Strategie „Index size“: Wenn Sie 400 GB Protokolle mit maximal 10 Indizes speichern möchten, ergibt 400 GB geteilt durch 10 Indizes 40 GB pro Index.

Wir empfehlen, stets mindestens 15 GB freien Speicherplatz für Protokolle, das Graylog-Journal und MongoDB-Daten vorzuhalten.

Wenn der freie Speicherplatz erschöpft ist, blockiert OpenSearch seine Operationen und Sie müssen möglicherweise auf eine größere Instanz upgraden.

Aufbewahrungsrichtlinie konfigurieren

Um die Aufbewahrungsrichtlinie zu konfigurieren, navigieren Sie in der Graylog-Oberfläche zu „System“, wählen Sie „Indices“ und klicken Sie auf die Schaltfläche „Edit“ im Bereich „Default index set“.

Im folgenden Beispiel ist die Konfiguration auf maximal 27 Indizes eingestellt, wobei jeder Index 14 Tage Protokolle aufbewahrt. Diese Einstellung bewahrt Protokolle für ungefähr ein Jahr (378 Tage) auf.

Wir empfehlen nicht, mehr als 14 Tage an Nachrichten pro Index zu speichern.

Retention configuration to keep logs for a year

Wenn Sie „Index time“ als Rotationsstrategie wählen, müssen Sie die Dauer im ISO8601 Duration-Standard angeben.

Zum Beispiel bedeutet „P7D“ 7 Tage, „P14D“ 14 Tage usw.

Weiterführende Informationen

Wenn Sie mehr über Indizes erfahren möchten, empfehlen wir Ihnen, die offizielle Dokumentation zu lesen.

Fehler bei OpenSearch-Indices im Read-only-Modus beheben

Gelegentlich kann OpenSearch in den Read-only-Modus wechseln und Sie erhalten Fehlermeldungen wie:

1. „Flood stage disk watermark exceeded, all indices on this node will be marked read-only“
2. „FORBIDDEN/12/index read-only / allow delete (api)“

Diese Fehler treten als Teil des Schutzmechanismus von OpenSearch auf, wenn der Speicherplatz kritisch niedrig ist. Sobald der verfügbare Speicherplatz unter 7 GB fällt, setzt OpenSearch die Indizes vorsorglich auf Read-only, um Datenkorruption zu vermeiden.

Wenn Sie auf diese Fehler stoßen, haben Sie zwei Möglichkeiten:

1. Passen Sie Ihre Aufbewahrungsrichtlinie an, um weniger Protokolle zu speichern. Nachdem Sie die Richtlinie angepasst haben, löschen Sie den ältesten Index, um Speicherplatz freizugeben und OpenSearch die Rückkehr in den Read-Write-Modus zu ermöglichen. Beachten Sie, dass das Löschen eines Index den vollständigen Verlust aller darin enthaltenen Daten bedeutet.
2. Wechseln Sie auf eine Instanz mit größerer Festplatte. Mit nur einem Klick im Stackhero-Dashboard startet die Instanz mit mehr Speicherplatz neu und OpenSearch kehrt automatisch in den Read-Write-Modus zurück.