Graylog: データマッピングの問題

Graylogインデックスのデータマッピング問題の解決方法

👋 Stackheroのドキュメントへようこそ！

Stackheroは、数多くの利点を提供する、すぐに使えるGraylogクラウドソリューションを提供しています。

無制限で専用のSMTP メールサーバーが含まれています。

ワンクリックで簡単にアップデート。

HTTPSで保護されたカスタマイズ可能なドメイン名（例: https://logs.your-company.com）。

プライベートで専用のVMによる最適なパフォーマンスと強力なセキュリティ。

時間を節約し、生活を簡素化：StackheroのGraylogクラウドホスティングソリューションを試すのに5分しかかかりません！

Graylogでよく発生する問題の一つに、データマッピングの競合によるインデックス作成の失敗があります。以下のようなログが表示される場合、この問題が発生している可能性があります。

ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [level] of type [long] in document with id '34fd4d11-36ed-11f0-afc9-0242ac140002'. Preview of field's value: 'error']]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=For input string: "error"]];

問題の原因

この問題は、OpenSearchのダイナミックマッピング機能に起因します。ダイナミックマッピングは、インデックスに最初に書き込まれたドキュメントの内容に基づいて各フィールドのデータ型を自動的に決定します。一度データ型が設定されると、その型は「固定」され、以降のドキュメントで同じフィールドに異なるデータ型が指定されると、マッピングパース例外（mapper parsing exception）が発生し、ドキュメントが拒否されます。

新しいインデックスが作成される際、最初のドキュメントがインデックスマッピングを定義します。例えば、そのドキュメントに「level」フィールドがあり、値が3（数値）の場合、OpenSearchは「level」フィールドのデータ型を「long」（数値型）として設定します。その後、Graylogに送信される別のドキュメントで「level」フィールドが「error」（文字列）となっている場合、最初に設定された型と一致しないため、そのドキュメントは拒否されます。これにより、mapper_parsing_exception エラーが発生し、理由として failed to parse field [level] of type [long] in document with id 'xxx'. が表示されます。

この問題は、ドキュメント間でフィールドのデータ型が一貫していない場合、どのフィールドでも発生する可能性があります。

問題の解決方法

この問題を解決するには、以下の2つの方法があります。

1. システム間でデータ型の一貫性を保つ

理想的な解決策は、Graylogにデータを送信するすべてのシステムで、各フィールドのデータ型を標準化することです。例えば、「level」フィールドを常に文字列（"error"、"warn" など）として送信するか、または常に数値（3、4 など）として送信するよう統一してください。この一貫性により、マッピングの競合を防ぎ、すべてのドキュメントが正しく取り込まれるようになります。

2. Graylogパイプラインによるデータ型変換

すべてのシステムでデータ型の標準化が難しい場合は、Graylogのパイプライン機能を利用して、受信時にデータ型を変換することができます。パイプラインでは、特定の条件に基づいてデータを変換するルールを定義できます。

この方法を実装するには：

GraylogのWebインターフェースで「System」>「Pipelines」に移動します。
「Add new pipeline」をクリックして新しいパイプラインを作成します。
「level」フィールド（または他のフィールド）を希望するデータ型に変換するルールを定義します。例えば、数値のレベルを対応する文字列（3を"error"、4を"warning"など）に変換することが可能です。

このアプローチにより、すべての受信データが期待されるデータ型に統一され、マッピングの競合を防ぐことができます。

インデックスマッピングの確認と変更

上級ユーザー向けに、Graylogではインデックスのマッピングを確認・手動で調整することも可能です。

GraylogのWebインターフェースで「System」>「Indices」に移動します。
該当するインデックスを選択します。
「Configuration」>「Configure index field types」に進み、フィールドマッピングを確認または変更します。

ただし、手動での調整は慎重に行ってください。不適切なマッピング設定は、さらなるデータ取り込みの問題を引き起こす可能性があります。