Graylog: Gestion de la retención

Cómo configurar la retención de logs

👋 ¡Bienvenido a la documentación de Stackhero!

Stackhero ofrece una solución Graylog cloud lista para usar que proporciona una serie de beneficios, incluyendo:

• Servidor de correo electrónico SMTP ilimitado y dedicado incluido.
• Actualizaciones sin esfuerzo con solo un clic.
• Nombre de dominio personalizable asegurado con HTTPS (por ejemplo, https://logs.tu-empresa.com).
• Rendimiento óptimo y seguridad robusta gracias a una VM privada y dedicada.

Ahorra tiempo y simplifica tu vida: ¡solo toma 5 minutos probar la solución de Graylog cloud hosting de Stackhero!

La retención define el número de mensajes almacenados en la base de datos de OpenSearch. Puede configurar la retención en función de un número de mensajes, una antigüedad máxima o un límite de tamaño total.

Por ejemplo, puede optar por conservar los mensajes de los últimos 365 días, mantener hasta 200 millones de mensajes o reservar un total de 400 GB de espacio de almacenamiento.

Comprender los índices

Antes de definir su política de retención, es importante entender cómo funcionan los índices utilizados por Graylog y OpenSearch. Piense en los índices como contenedores físicos. Graylog "abre" un contenedor (un índice) y coloca dentro los mensajes entrantes. Cuando se supera la cuota asignada a ese contenedor, este se cierra, se almacena en una estantería y se inicia un nuevo contenedor para los mensajes siguientes.

Puede establecer esta cuota utilizando diferentes criterios:

1. Un número de mensajes: "Mantenga 20 millones de mensajes por contenedor y luego inicie uno nuevo."
2. Una limitación de tiempo: "Utilice un contenedor durante 10 días y luego cambie a uno nuevo."
3. Una limitación de tamaño: "Almacene 20 GB por contenedor y luego pase al siguiente."

También se define un número máximo de contenedores que pueden almacenarse en la estantería. Si se supera este número, los contenedores más antiguos se eliminan automáticamente. Por ejemplo, si establece un máximo de 20 contenedores y tiene 22 en la estantería, se eliminarán los 2 contenedores más antiguos.

En esta analogía, los contenedores representan los índices, la estantería es OpenSearch y el número máximo representa el número permitido de índices.

Elegir una estrategia de rotación

Graylog ofrece tres estrategias de retención:

1. "Index time" define la duración máxima durante la cual se conservan los mensajes en cada índice, por ejemplo, 14 días por índice.
2. "Index message count" establece el número máximo de mensajes por índice, por ejemplo, 20 millones de mensajes por índice.
3. "Index size" limita el tamaño máximo de un índice, por ejemplo, 40 GB por índice.

Puede seleccionar una de estas estrategias en función de sus necesidades específicas. Por ejemplo, seleccionar "Index time" le ayuda a asegurarse de que siempre dispone de los logs de los últimos X días.

Asegúrese de estimar correctamente sus necesidades de almacenamiento en disco.

Por ejemplo, si almacena 1 GB de logs al día y decide conservar los logs de los últimos 365 días, necesitará 365 GB de espacio en disco. Recuerde que también debe reservar espacio adicional para el funcionamiento (ver más abajo).

Definir los parámetros de retención

Por defecto, Graylog limita el número de índices a 20. Puede ajustar este valor según sus necesidades. Por ejemplo, si desea almacenar los logs de los últimos 365 días, puede distribuir la retención entre los índices dividiendo 365 días entre 20 índices, lo que da aproximadamente 19 días por índice.

Puede realizar cálculos similares para las otras estrategias:

1. Para la estrategia "Index message count": si desea conservar 200 millones de mensajes con un máximo de 20 índices, entonces 200 millones de mensajes divididos entre 20 índices da 10 millones de mensajes por índice.
2. Para la estrategia "Index size": si quiere mantener 400 GB de logs con un máximo de 10 índices, entonces 400 GB divididos entre 10 índices da 40 GB por índice.

Recomendamos mantener siempre al menos 15 GB de espacio libre en disco para los logs, el journal de Graylog y los datos de MongoDB.

Si se agota el espacio libre en disco, OpenSearch bloqueará sus operaciones y será necesario actualizar a una instancia de mayor tamaño.

Configurar la política de retención

Para configurar la política de retención, acceda a la interfaz de Graylog. En el menú "System" seleccione "Indices" y haga clic en el botón "Edit" en el "Default index set".

En el ejemplo siguiente, la configuración establece un máximo de 27 índices, con cada índice conservando 14 días de logs. Esta configuración permite conservar los logs durante aproximadamente un año (378 días).

No recomendamos conservar más de 14 días de mensajes por índice.

Configuración de retención para conservar logs durante un año

Al elegir "Index time" como política de rotación, debe definir la duración utilizando el estándar ISO8601 Duration.

Por ejemplo, "P7D" significa 7 días, "P14D" significa 14 días, y así sucesivamente.

Para profundizar

Si desea obtener más información sobre los índices, le recomendamos consultar la documentación oficial.

Gestionar errores sobre índices de OpenSearch en modo solo lectura

Ocasionalmente, OpenSearch puede pasar a modo solo lectura y puede encontrar errores como:

1. "Flood stage disk watermark exceeded, all indices on this node will be marked read-only"
2. "FORBIDDEN/12/index read-only / allow delete (api)"

Estos errores se producen como parte del mecanismo de protección de OpenSearch cuando el espacio en disco es críticamente bajo. Cuando el espacio disponible en disco cae por debajo de 7 GB, OpenSearch establece los índices en modo solo lectura como medida de precaución para evitar la corrupción de datos.

Si encuentra estos errores, tiene dos opciones:

1. Reconfigure su política de retención para conservar menos logs. Tras ajustar la política, elimine el índice más antiguo para liberar espacio en disco y permitir que OpenSearch vuelva al modo de lectura y escritura. Tenga en cuenta que eliminar un índice implica la pérdida definitiva de todos los datos que contiene.
2. Actualice su instancia a una con un disco de mayor capacidad. Con un solo clic desde su panel de Stackhero, la instancia se reiniciará con más espacio en disco y OpenSearch volverá automáticamente al modo de lectura y escritura.