ログ¶

現代のITインフラストラクチャでは、システムは毎分数千のログイベントを生成する可能性があります。これらのログは特定のフォーマットに従い、通常はタイムスタンプ情報を含み、サーバーによってシステムログ、アプリケーションログ、セキュリティログなどの異なるファイルに出力されます。ログは各サーバーノードに分散して保存されるため、システムに障害が発生した場合、運用担当者は複数のサーバーに個別にログインしてログを確認する必要があり、これにより障害調査の複雑さと時間が大幅に増加します。

大量のログデータに直面した場合、チームはしばしばデータ管理の課題に直面します。

どのログをリアルタイムでログ管理プラットフォームに送信すべきですか？

どのログをアーカイブ処理できますか？

データ収集段階でフィルタリングを行うと、重要な障害情報を見逃したり、価値のあるデータを誤って削除したりする可能性があり、その後の問題調査に影響を及ぼす可能性があります。

これらの課題を解決するには、集中化されたログ管理プラットフォームを構築することが重要です。強力なログ収集機能により、分散環境のログデータをワークスペースに統一的に報告し、ログの集中保存、監査監視、インテリジェントアラート、および詳細な分析を実現できます。この方法では、事前フィルタリングによるデータ損失のリスクを回避できるだけでなく、統合された検索インターフェースと関連分析機能により、障害診断の効率を大幅に向上させることができます。

Guanceのログ機能はまさにこのコンセプトに基づいて設計されており、従来は孤立していたログデータをオブザーバビリティシステム全体を貫く「コネクタ」に変換し、運用チームがシステム状態を積極的に把握し、緊急時に問題の根本原因を迅速に特定できるようにし、受動的な対応から能動的な予防への運用モデルの転換を実現します。

はじめに¶

収集と統合¶

Guanceは、DataKit コレクタを通じて柔軟なログ収集ソリューションを提供します。環境に応じて適切な方法を選択できます。

• ホストログ収集：サーバーに DataKit をインストールし、コレクタを構成してログファイルのパスを指定することで、テキスト形式のログファイルを収集できます。

• K8s 環境での収集：Kubernetes クラスターに DaemonSet として DataKit をデプロイすると、コンテナの標準出力（stdout/stderr）のログを自動的に収集できます。

• サードパーティログの受信：HTTP/S または TCP プロトコルを介して Fluentd、Logstash、Kafka などのツールからログデータを受信し、既存のテクノロジースタックと互換性があります。

処理とパース¶

Guanceは、Pipeline を通じて完全なログ処理機能を提供します。

• 構造化パース：Grok パターンや正規表現を使用して、生のログテキストからステータスコード、タイムスタンプなどの重要なフィールドを抽出します。

• データ標準化：非構造化ログテキストを統一された標準形式に変換し、その後の分析とクエリの基盤を提供します。

クエリと分析¶

Guanceは、ログエクスプローラーを活用して強力なクエリ分析機能を提供します。

• フィールドベースの正確なフィルタリングクエリとデータ検索をサポートし、目的のログを迅速に特定できます。

• インテリジェント分析：パターン分析によりログパターンを自動的に識別し、可視化チャートでデータの傾向を表示します。

• 問題調査：ログのコンテキスト情報を表示し、対応するトレースやインフラストラクチャメトリクスを関連付けて分析できます。

• チームコラボレーション：データスナップショット機能を提供し、安全なチームコラボレーションと知識共有をサポートします。

監視とアラート¶

Guanceは、インテリジェントなログ監視とアラート機能を提供します。

• インテリジェント監視とアラート：ログデータに基づいてモニターを作成し、異常状態のリアルタイム検出と秒単位のアラート通知を実現し、問題を迅速に発見して処理できるようにします。

• 詳細なコスト管理：大量のログシナリオに対応し、収集側でブラックリストを使用して無効なログをフィルタリングし、ストレージ側でマルチインデックスと階層化されたストレージポリシーを使用してストレージコストを最適化できます。

セキュリティとコンプライアンス¶

Guanceは、包括的なログデータのセキュリティ管理ソリューションを提供します。

• アクセス制御：データアクセス機能により、メンバーの役割に基づいてデータクエリ範囲を構成し、きめ細かい権限管理を実現します。

• 機密データ処理：フィールド表示権限（機密データマスキング）機能により、ログ内の機密情報（ID番号、シークレットキー、トークンなど）をマスキングし、データコンプライアンスを確保します。

ストレージとアーカイブ¶

Guanceは、包括的なログストレージ管理ソリューションを提供します。

• マルチインデックス管理：複数のログインデックスの作成をサポートし、ログのソースやビジネス属性などのディメンションに基づいてデータを異なるインデックスに振り分け、各インデックスに異なるストレージポリシーを構成できます。

• データ転送とアーカイブ：ログデータをGuanceオブジェクトストレージに長期アーカイブしたり、外部ストレージシステムにリアルタイム転送して、データのバックアップ、監査、またはさらなる処理の要件を満たすことができます。

クイックスタート¶

使用段階に応じて、対応する操作パスを選択してください。