Graylog: 数据映射问题
如何解决 Graylog 索引数据映射问题
👋 欢迎阅读 Stackhero 文档！
Stackhero 提供现成的 Graylog 云 解决方案，具有众多优势，包括：
- 包含无限制和专用的 SMTP 电子邮件服务器。
- 只需点击即可轻松完成更新。
- 使用 HTTPS 保护的可定制域名（例如，https://logs.your-company.com）。
- 由专用私有 VM提供的最佳性能和强大安全性。
节省时间并简化您的生活：只需 5 分钟即可试用 Stackhero 的 Graylog 云托管 解决方案！
在 Graylog 中，数据映射冲突是常见的问题，可能导致索引写入失败。如果您看到类似如下的日志，就可能遇到了此类问题：
ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [level] of type [long] in document with id '34fd4d11-36ed-11f0-afc9-0242ac140002'. Preview of field's value: 'error']]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=For input string: "error"]];
问题原因
此问题源自 OpenSearch 的动态映射（dynamic mapping）功能。动态映射会根据写入索引的第一个文档自动确定每个字段的数据类型。一旦数据类型被设定，就会被“锁定”，后续如果有文档该字段的数据类型不一致，就会被拒绝，导致 mapper parsing exception。
当新索引被创建时，第一个文档会定义索引的映射。例如，如果该文档的 "level" 字段值为 3（数值类型），OpenSearch 会将 "level" 字段的数据类型设为 "long"（数值类型）。如果之后有文档发送到 Graylog，"level" 字段的值为 "error"（字符串类型），则会因为数据类型与最初设定的不一致而被拒绝。这会触发 mapper_parsing_exception 错误，原因是 failed to parse field [level] of type [long] in document with id 'xxx'.
如果不同文档中同一字段数据类型不一致，任何字段都可能出现此类问题。
解决方法
要解决此问题，您有两种选择：
1. 保证各系统间数据类型一致
理想的解决方案是统一所有发送数据到 Graylog 的系统中各字段的数据类型。例如，确保 "level" 字段始终以字符串（如 "error"、"warn" 等）或始终以数字（3、4 等）形式发送。保持一致性可以避免映射冲突，确保所有文档都能被正确写入。
2. 使用 Graylog Pipelines 进行数据类型转换
如果无法在所有系统中统一数据类型，您可以利用 Graylog 的 Pipelines 功能，在数据接收时进行类型转换。Pipelines 允许您根据特定条件定义规则，对数据进行转换。
具体操作步骤如下：
- 在 Graylog Web 界面进入 "System" > "Pipelines"。
- 点击 "Add new pipeline" 创建新 Pipeline。
- 定义规则，将 "level" 字段（或其他字段）转换为所需的数据类型。例如，可以将数值型 level 转换为对应的字符串（如 3 转为 "error"，4 转为 "warning" 等）。
通过这种方式，可以确保所有接收的数据都符合预期的数据类型，避免映射冲突。
查看和修改索引映射
对于高级用户，Graylog 支持查看和手动调整索引的映射：
- 在 Graylog Web 界面进入 "System" > "Indices"。
- 选择相关索引。
- 进入 "Configuration" > "Configure index field types"，即可查看或修改字段映射。
但请注意，手动调整映射需谨慎操作，错误的映射可能导致更多数据写入问题。