Graylog: 问题原因
本文档属于数据映射问题指南的一部分。您可以在此处查看完整指南:如何解决 Graylog 索引数据映射问题。
👋 欢迎使用 Stackhero 文档!
Stackhero 提供即用型 Graylog 云 解决方案,具有众多优势,包括:
- 包含无限制和专用的 SMTP 电子邮件服务器。
- 只需点击即可轻松完成更新。
- 使用 HTTPS 保护的可定制域名(例如,https://logs.your-company.com)。
- 由专用私有 VM提供的最佳性能和强大安全性。
节省时间并简化您的生活:只需 5 分钟即可试用 Stackhero 的 Graylog 云托管 解决方案!
该问题源于 OpenSearch 的动态映射(dynamic mapping)功能。动态映射会根据写入索引的第一个文档自动确定每个字段的数据类型。一旦数据类型被设定,就会被“锁定”,后续文档如果该字段的数据类型不一致,将被拒绝写入,进而触发 mapper parsing exception。
当新索引创建时,第一个文档会定义索引的映射。例如,如果文档中的 "level" 字段值为 3(数值类型),OpenSearch 会将 "level" 字段的数据类型设为 "long"(数值类型)。如果后续发送到 Graylog 的文档中,"level" 字段的值为 "error"(字符串类型),由于数据类型与最初设定的不符,该文档会被拒绝写入,并触发 mapper_parsing_exception,错误原因为 failed to parse field [level] of type [long] in document with id 'xxx'.
如果同一字段在不同文档中数据类型不一致,任何字段都可能出现此问题。