インデックス¶
インデックスは、ログフィールドやメトリクスタグなどの重要な特徴を抽出することで、特徴値と元データを関連付け、効率的な検索を実現し、非効率なフルスキャンを回避します。
複数のインデックスを作成・管理すると、システムは事前に設定されたフィルター条件に基づいて、ログデータを対応するインデックスに自動的にアーカイブします。また、インデックスごとにデータ保存ポリシーをカスタマイズでき、ストレージコストを効果的に管理・削減し、データ管理の柔軟性と経済性を両立できます。
作成¶
Guance は、次の3種類のインデックスの作成またはバインドに対応しています。
インデックスタイプ |
定義 | 主な特徴とデータの流れ |
管理権限の帰属 |
|---|---|---|---|
| ログインデックス | Guance における基本的なログストレージユニットです。ログデータが送信されると、システムは事前定義されたルール(一致条件、フィルターなど)に基づいて自動的に振り分け、一致するインデックスに保存します | ルールに基づく自動振り分け コレクター → Guance 一括受信 → ルールに基づく振り分け → 対象インデックスへの書き込み |
Guance プラットフォームコンソール (インデックスルールの設定によって制御) |
| ネイティブ直接書き込みインデックス | コレクター側で対象インデックス名を直接指定する書き込み方式です。プラットフォーム側のデフォルト振り分けルールを迂回し、指定したインデックスに直接書き込みます | 対象を指定した直接書き込み コレクター(インデックス名を指定)→ 対象インデックスへ直接書き込み |
コレクター設定 (DataKit などの収集側設定で指定) |
| 外部インデックス | Guance が提供するデータソース横断の検索統合機能です。認可をバインドすることで、外部データソース(セルフホスト ES など)をワークスペース内で統一的にクエリできる論理インデックスとしてマッピングします | 外部データソースのバインドと統合クエリ データは外部に保存され、Guance が検索チャネルを確立して検索します |
外部データソースシステム (データの所有権とストレージ管理はすべて外部にあります) |
データが Guance に収集されると、システムはルールに基づいてデータを分割し、インデックスへの配信または他のサードパーティシステムへの転送を行います。これにより、データ処理の効率を高め、データの多経路配信というニーズを満たします。
インデックス管理¶
以下の操作でインデックスリストを管理できます。
インデックスのエクスポート¶
対応するインデックスタイプのリストで、右上隅の「エクスポート」ボタンをクリックすると、対応するインデックスの JSON ファイルをエクスポートできます。
インデックスのインポート¶
ローカルのインデックス設定ファイルをインポートできます。
ログインデックスマッピング¶
ログインデックスマッピングは、詳細データのフィールド値に基づいて、詳細ページの関連クエリで使用するデフォルトのログインデックスを自動的に選択するために使用します。
注意
ログインデックスマッピングは、詳細ページの関連ログクエリにのみ影響し、ログがインデックスに書き込まれる際の一致条件には影響しません。
設定の入口¶
「ログ > インデックス」 に移動し、「ログインデックスマッピング」 をクリックすると、フィールド値とデフォルトのログインデックス間のマッピング関係を作成・管理できます。
設定方法¶
各マッピングには次の項目が含まれます。
- 一致フィールド: 詳細データ内のフィールド名。例:
app_id、source、service、env、version - フィールド値: 一致するかどうかを判定するために使用するフィールド値
- デフォルトのログインデックス: フィールド値が一致した場合にクエリするログインデックス
設定例:
| 一致フィールド | フィールド値 | デフォルトのログインデックス |
|---|---|---|
app_id |
KKHome |
com_kkhome_kksecurity |
source |
df_rum_ios_log |
ios-security-log |
service |
front-backend |
sm-test-front-backend |
元の「サービス一致」機能を設定する場合は、一致フィールドを service に設定し、サービス名と対応するログインデックスを入力してください。
関連クエリ¶
設定が有効になると、RUM、APM などのデータ詳細ページで関連ログを表示する際、システムは現在の詳細データのフィールドを読み取り、一致する利用可能なログインデックスをすべて自動的に選択します。
ログ件数の統計とログリストのクエリは同じインデックス一致結果を使用するため、件数とリスト内容の整合性が保たれます。
フィールド値の一致¶
フィールド値は以下の設定方法に対応しています。
- 完全一致: 例:
front-backend - 複数値の一致: 複数の値は英語のカンマで区切ります。例:
api,web - ワイルドカード一致:
*: ゼロ個以上の任意の文字に一致?: 任意の1文字に一致
複数ルールの一致¶
システムはすべてのマッピングルールをチェックし、一致した利用可能なログインデックスをすべてマージします。
- 同じフィールド値が複数のマッピングに一致する場合は、対応するすべてのインデックスをクエリします。
- 完全一致ルールとワイルドカードルールが同時に一致する場合は、対応するすべてのインデックスをマージします。
- 複数のルールが同じインデックスを指す場合は、システムが自動的に重複を排除します。
- ログ件数の統計とログリストのクエリは同じインデックスセットを使用します。
例:
| 一致フィールド | フィールド値 | デフォルトのログインデックス |
|---|---|---|
service |
api-* |
application-log |
service |
api-order |
order-log |
現在のサービスが api-order の場合、システムは application-log と order-log の両方を同時にクエリします。
インデックスの状態制御¶
- インデックスの無効化: 以降のログはこのインデックスに入らず、他のインデックスへの一致を継続し、一致したインデックスに保存されます。他に一致するインデックスがない場合は、デフォルトの
defaultインデックスに保存されます。 - インデックスの有効化: 以降のログは再びこのインデックスに入り、保存されます。
インデックス設定の編集¶
作成済みのログインデックス設定を編集できます。
注意
ストレージポリシーを変更すると、インデックス内のデータが削除されます。慎重に操作してください。
インデックスの削除¶
削除対象のインデックスの削除アイコンをクリックし、確認ダイアログにそのインデックス名を入力して、削除を確定します。
注意
- 削除すると、そのインデックス内のログデータも削除されます。他に一致するインデックスがない場合、以降に送信されたログデータはデフォルトの
defaultインデックスに保存されます。 - 削除したインデックスが他のワークスペースにクエリ権限を付与されている場合、削除後は相手側のワークスペースではそのインデックスをクエリできなくなります。
- ログインデックスを削除した後は、必要に応じて同名のインデックスを作成できます。
インデックスの並べ替え¶
編集モードをクリックすると、作成済みのログインデックスの順序を上下にドラッグして調整できます。単一選択、複数選択、ページをまたいだ順序調整に対応し、1つまたは複数のインデックスを指定した位置に移動できます。
注意
ログは最初に一致したインデックスに流入します。インデックスの順序を変更すると、ログの流れ先が変わる可能性があります。
操作監査¶
監査アイコンをクリックすると、そのインデックスに対するすべての操作ログを確認できます。
