rsdatakit

rsdatakit は Rust 製の軽量コレクターで、Linux ホストと Kubernetes ノードを対象とし、 DataKit/Guance Point v2 形式でデータを Dataway に送信します。

機能概要¶

現在 Linux amd64 と arm64 に対応しています。Windows、macOS、OTLP Metrics、OTLP Logs、 eBPF、外形監視、リモート設定、DataKit プラグインシステムには対応していません。

実行要件¶

• Linux ホストから /proc と /sys にアクセスできる必要があります。journald 収集には systemd journal ランタイムも必要です。
• インストールスクリプトで rsdatakit を管理するには systemd と systemctl が必要です。
• Kubernetes 収集は対象ノードで DaemonSet として実行し、Pod メタデータ、Kubelet Summary、 ホストのコンテナログディレクトリを読み取れる必要があります。
• 有効な Dataway アドレスと token が必要です。設定ファイルと状態ディレクトリへのアクセスは実行ユーザーのみに制限してください。

インストール¶

RSDATAKIT_DATAWAY_URL="https://openway.guance.com" \
RSDATAKIT_DATAWAY_TOKEN="<DATAWAY_TOKEN>" \
  sh -c "$(curl -fsSL https://static.guance.com/rsdatakit/install.sh)"

RSDATAKIT_DATAWAY_URL="https://openway.guance.com" \
RSDATAKIT_DATAWAY_TOKEN="<DATAWAY_TOKEN>" \
  sh -c "$(curl -fsSL https://static.guance.com/rsdatakit/install-<VERSION>.sh)"

RSDATAKIT_UPGRADE=1 \
  sh -c "$(curl -fsSL https://static.guance.com/rsdatakit/install.sh)"

systemctl is-active rsdatakit
systemctl status rsdatakit --no-pager
journalctl -u rsdatakit -n 30 --no-pager

wget https://static.guance.com/rsdatakit/rsdatakit.yaml

wget -O rsdatakit.yaml https://static.guance.com/rsdatakit/rsdatakit-<VERSION>.yaml

kubectl create namespace rsdatakit-system --dry-run=client -o yaml | kubectl apply -f -
kubectl -n rsdatakit-system create secret generic rsdatakit-secrets \
  --from-literal=dataway-url='https://openway.guance.com' \
  --from-literal=dataway-token='<DATAWAY_TOKEN>' \
  --from-literal=otlp-token='<OTLP_TOKEN>' \
  --dry-run=client -o yaml | kubectl apply -f -

kubectl apply -f rsdatakit.yaml

kubectl -n rsdatakit-system rollout status daemonset/rsdatakit
kubectl -n rsdatakit-system get pods -l app.kubernetes.io/name=rsdatakit

kubectl -n rsdatakit-system logs daemonset/rsdatakit --tail=100

設定¶

既定の設定パスは /etc/rsdatakit/rsdatakit.toml です。--config <path> または RSDATAKIT_CONFIG で別のファイルを指定できます。設定は起動時のみ読み込むため、変更後は再起動してください。

最小構成：

[agent]
# Local state directory for the WAL and file-log read positions. Must be absolute.
state_dir = "/var/lib/rsdatakit"
# Optional standalone health-listener address. Leave empty to disable it.
health_addr = ""

[dataway]
# Workspace Dataway endpoint.
url = "https://openway.example.com"
# Workspace token.
token = "<DATAWAY_TOKEN>"
# Per-request Dataway timeout in seconds. Valid range: 1–60.
timeout_secs = 15
# Tags added to all reported data.
global_tags = { env = "prod" }
# Target index. Uses the workspace default index when empty.
storage_index = ""

[metrics]
# Host metrics collection interval in seconds. Valid range: 5–300.
interval_secs = 15
# Mount points whose capacity is collected. Maximum: 32. Each must be absolute.
mounts = ["/"]
# Also collect virtual interfaces such as veth, docker0, and cni.
enable_virtual_interfaces = false

[hostobject]
# HOST object reporting interval in seconds. Valid range: 60–3600.
interval_secs = 300

[wal]
# Local write-ahead log directory. Must be absolute.
dir = "/var/lib/rsdatakit/wal"
# Total WAL capacity in bytes. Valid range: 4 MiB–256 MiB; the oldest unsent data is evicted when full.
max_bytes = 268435456

agent.state_dir、logs.state_dir、wal.dir は絶対パスにしてください。WAL の既定容量は 256 MiB です。許容する Dataway 停止時間とログ/Trace の書き込み量に応じて wal.max_bytes を調整してください。 起動時の RSDATAKIT_DATAWAY_URL と RSDATAKIT_DATAWAY_TOKEN で設定のアドレスと token を上書きできます。RSDATAKIT_HEALTH_ADDR は独立したヘルスチェックのアドレスを上書きします。

ホスト収集¶

ホストメトリクスと HOST オブジェクトは既定で有効です。追加の enabled 設定は不要です。

ホストメトリクスの間隔は 5～300 秒、HOST は 60～3600 秒です。CPU、ネットワーク、ディスク I/O の速度は 前後 2 回のサンプルに依存するため、起動直後の初回は速度フィールドがない場合があります。

メトリクス¶

以下は rsdatakit が実際に送信するフィールドのみです。名前は DataKit の同名メトリクスセットと互換性がありますが、 DataKit コレクターのすべての拡張フィールドを実装しているわけではありません。

cpu¶

mem¶

disk¶

[metrics].mounts のマウントごとに 1 Point を生成。

diskio¶

I/O カウンターを持つ Linux ブロックデバイスごとに 1 Point を生成。

net¶

フィルター条件を満たし、前回のサンプルがあるネットワークインターフェースごとに 1 Point を生成。

system¶

オブジェクト¶

HOST¶

ログ収集¶

ログは既定で無効です。paths が空ならファイルを収集しません。必要なパスのみ指定し、広すぎるグローバル glob は避けてください。

[logs]
# Enables file-log collection.
enabled = true
# Absolute path globs for log files to collect.
paths = ["/var/log/my-service/*.log"]
# Log data source name.
source = "my-service"
# service tag added to logs.
service = "my-service"
# Reports first-level members of a top-level JSON object as log fields.
json_as_fields = false
# Maximum number of active files read simultaneously.
max_files = 32
# Interval for rediscovering matching files in seconds.
discovery_secs = 5
# copytruncate log-rotation detection strategy.
copytruncate_mode = "auto"
# Local directory that stores file read positions. Must be absolute.
state_dir = "/var/lib/rsdatakit"

# Effective only when built with the journald feature and libsystemd is available.
journald_enabled = false
# Collects only this systemd unit. Leave empty for all accessible journal entries.
journald_unit = "my-service.service"

[logs.multiline]
# Continuation pattern. Leave empty to report one log point per line.
continuation_regex = "^\\s+"
# Maximum wait time for continuation lines in milliseconds.
flush_timeout_ms = 1000
# Maximum bytes in a merged log entry.
max_bytes = 262144

ログ位置、journald cursor、WAL は状態ディレクトリに保存します。再起動後は確認済み位置から読み取りを再開し、 WAL への書き込みまたは Dataway の受信完了後にのみ位置を進めます。継続行に一致する複数行は 1 ログに結合します。

json_as_fields は既定で無効です。有効にすると、最上位がオブジェクトの JSON ログの第 1 階層をフィールドとして送信します： 文字列、真偽値、int64、有限の float64 は型を維持し、オブジェクトと配列はコンパクトな JSON 文字列に変換します。 null と範囲外の数値は無視します。解析失敗、最上位がオブジェクトでない、または有効なフィールドがない場合は、元の message を保持します。JSON フィールドは同名の収集フィールドを上書きし、名前は Point の規則で正規化して 256 バイトに制限します。 1 Point のフィールドは最大 1024 個です。time、source、date、storage_index はそれぞれ json_* に改名し、Point の時刻、ログ source、保存インデックスは変更しません。また、 RSDATAKIT_LOG_JSON_AS_FIELDS=true でも有効にできます。従来の json_extract と RSDATAKIT_LOG_JSON_EXTRACT は互換エイリアスとして維持します。

journald_enabled = true で systemd journal の読み取りを追加します。ファイルログの収集には影響しません。 リリースパッケージでは journald を有効にしています。ソースから手動ビルドする場合：

cargo build --release --locked --features journald

ログデータ¶

ログの measurement は [logs].source です。Kubernetes コンテナログの初期 source は通常、 kubernetes です。メタデータの照合後はコンテナ名に変更します。

メタデータが利用可能な場合、Kubernetes コンテナログには以下の tag も追加します：

OpenTelemetry Trace¶

OTLP は既定で無効です。有効にすると OTLP Trace を受信し、tracing 分類へ転送します：

[otlp]
# Starts OTLP HTTP and gRPC receivers.
enabled = true
# OTLP/HTTP listen address.
http_addr = "127.0.0.1:4318"
# OTLP/gRPC listen address. Must differ from http_addr.
grpc_addr = "127.0.0.1:4317"
# Bearer token required for non-local listen addresses. It may be empty for local listening.
bearer_token = ""
# Maximum bytes per OTLP request.
max_request_bytes = 4194304
# Maximum number of concurrent OTLP requests.
max_concurrent_requests = 8
# Total memory budget in bytes for admitted OTLP requests.
max_inflight_bytes = 16777216

HTTP または gRPC を loopback 以外にバインドする場合は bearer_token が必須です。クライアントは Authorization: Bearer <token> を使用します。現在は Trace のみ対応し、OTLP Metrics と OTLP Logs は未対応です。 /health は agent.health_addr で独立して提供できます。OTLP 無効時は 4317/4318 をバインドしません。 接続のアイドル期限は 30 秒です。HTTP header/body、gRPC 接続開始、本文の受信・デコードにはそれぞれ 65 秒の絶対期限があります。gRPC メッセージと trailers のデコード完了後は本文期限を解除し、以後のマッピング、キュー投入、 Dataway/WAL receipt の待機には handler 全体のタイムアウトはありません。処理中の要求は接続アイドル期限でも中断しません。gRPC 本文が受信期限を超えると DeadlineExceeded を返し、グローバル受付予算を解放します。

Trace データ¶

OTLP Span は tracing 分類に出力し、measurement は opentelemetry 固定です。時刻フィールド start と duration はマイクロ秒です。Point のタイムスタンプは Span の開始時刻（ナノ秒）を使用します。

一般的な OTel Resource/Span 属性はフラットなフィールドに変換します。例：db.system → db_system、 db.operation.name → db_operation、http.request.method → http_method、 http.response.status_code → http_status_code、rpc.system → rpc_system、 messaging.system → messaging_system。文字列、真偽値、整数、浮動小数点は型を維持し、配列とオブジェクトは JSON に変換します。 属性ソースごとに最大 256 属性を処理します。意味マッピングの許可リスト外の属性は最上位フィールドにはせず、 message JSON 内に保持します。

セマンティック属性フィールド¶

以下は現在の許可リスト内の OTel 属性マッピングです。http_status_code 以外は入力属性の型を維持し、 string、bool、int、float とします。配列と key/value オブジェクトは JSON 文字列に変換します。

Kubernetes モードでは Trace にもコンテナログと同じクラスター、Node、Pod、Container、workload、 許可リスト内の label tag を追加できます。OTel Resource の識別情報を優先し、不足分のみローカル Pod キャッシュから補います。

Kubernetes 収集¶

[kubernetes].enabled = true で Kubernetes モードを有効にします。DaemonSet はローカル Pod メタデータ、 Kubelet /stats/summary、ホストの /var/log/pods から収集します：

[kubernetes]
# Enables Kubernetes collection.
enabled = true
# Reports Pod and container metrics.
metrics_enabled = true
# Reports Pod and container objects.
objects_enabled = true
# Kubernetes cluster name.
cluster_name = "default"
# Local Pod metadata refresh interval in seconds.
refresh_secs = 60
# Pod and container object reporting interval in seconds.
object_interval_secs = 300
# Allowlist of Pod labels added to reported data.
label_tags = ["app.kubernetes.io/name"]

metrics_enabled と objects_enabled は個別に制御できます。メトリクスは既定で 60 秒ごと、オブジェクトは起動時に即時送信し、 その後は既定で 5 分ごとに送信します。label_tags はタグのカーディナリティを制御する Pod label の許可リストです。

Kubelet には HTTPS と自動マウントされた ServiceAccount bearer token で接続し、 nodes/stats RBAC 権限で認可します。ノードの自己署名証明書と Node IP SAN のないクラスターに対応するため、 Kubelet 接続のサーバー証明書は検証しません。Kubernetes API は独立したクライアントを使用し、ServiceAccount CA で 証明書を厳密に検証します。

プロジェクトの DaemonSet 例は /var/log/pods、/var/lib/docker/containers、 /var/lib/rsdatakit もマウントします。コンテナログはローカルファイルから読み、ログごとに Kubernetes API は呼び出しません。Pod メタデータは 共有のローカルノードキャッシュで補完します。

メトリクス¶

Kubelet Summary にない任意フィールドは生成しません。CPU、メモリ、ファイルシステム、ネットワーク累積値はローカルの Kubelet /stats/summary から、request、limit、ready、restart、workload tag は Pod API メタデータから取得します。

kube_pod¶

ローカル Pod ごとに 1 Point を生成。

docker_containers（Kubernetes メトリクス）¶

ローカルコンテナごとに 1 Point を生成。ネットワークは Pod 単位で kube_pod が送信するため、ここにはネットワークフィールドがありません。

オブジェクト¶

オブジェクト分類は DataKit ページと互換です。message は現在のオブジェクトフィールドの JSON スナップショットです。 今回 Kubelet Summary が利用可能なら、同じ Pod/コンテナのリソースフィールドも付加します。以下に各フィールドを示します。

kubelet_pod オブジェクト¶

docker_containers オブジェクト¶

Prometheus 収集¶

Prometheus スクレイピングは Kubernetes モードの一部です。単独バイナリでは既定で無効、DaemonSet 例では有効です：

[kubernetes.prometheus]
# Enables local Prometheus target discovery and scraping.
enabled = true
# Scrape interval per target in seconds.
scrape_interval_secs = 30
# Timeout per scrape in seconds.
scrape_timeout_secs = 10
# Keeps the full exporter metric name as the field name.
keep_exist_metric_name = true
# Discovers Pods annotated with prometheus.io/scrape.
discover_pod_annotations = true
# Discovers Services annotated with prometheus.io/scrape.
discover_service_annotations = true
# Discovers Prometheus Operator PodMonitors.
discover_pod_monitors = true
# Discovers Prometheus Operator ServiceMonitors.
discover_service_monitors = true

自動検出に加えて、信頼できるターゲットを明示的に設定できます：

[[kubernetes.prometheus.instances]]
# Target source type.
role = "pod" # node | pod | service | endpoints
# Namespaces containing the targets.
namespaces = ["default"]
# Kubernetes label selector。
selector = "app=nginx"
# Scrape scheme.
scheme = "http"
# Numeric or named port.
port = "metrics"
# HTTP metrics path.
path = "/metrics"
# Measurement name. Derived automatically when empty.
measurement = ""
# Tags added to all metrics from this target.
tags = { team = "platform" }

対応するターゲットソース：

• Pod/Service の prometheus.io/scrape、port、scheme、path などの annotations。
• Prometheus Operator の PodMonitor と ServiceMonitor。
• 信頼できる静的設定の node、pod、service、endpoints インスタンス。

ローカルノードに属すると確認できるターゲットのみ収集し、各 DaemonSet レプリカによるクラスター全体の重複収集を防ぎます。 measurement は exporter のメトリクス名または静的な measurement 設定で決まり、collector.up が各ターゲットの収集結果を示します。

不要な検出機能は対応する discover_* を無効にしてください。Service annotation、ServiceMonitor が無効で、 明示的な service/endpoints インスタンスもなければ、グローバルな Service と EndpointSlice は購読しません。

メトリクス変換規則¶

Prometheus exporter の measurement と field はメトリクス名から動的に生成するため、固定ホストメトリクスのように列挙できません：

各スクレイピングではコレクター状態のメトリクスも生成します：

collector¶

実行と検証¶

sudo RUST_LOG=rsdatakit=info rsdatakit --config /etc/rsdatakit/rsdatakit.toml

sudo systemctl restart rsdatakit
sudo systemctl status rsdatakit
sudo journalctl -u rsdatakit -f

kubectl -n rsdatakit-system rollout status daemonset/rsdatakit
kubectl -n rsdatakit-system get pods -l app=rsdatakit
kubectl -n rsdatakit-system logs daemonset/rsdatakit --tail=100

起動ログに rsdatakit started が表示されたら、管理画面で以下を確認します：

独立したヘルスアドレスを設定するか OTLP HTTP を有効にして状態を確認できます。例：

curl http://127.0.0.1:4319/health

degraded は Dataway、WAL、収集モジュールのいずれかに障害があることを示します。HTTP 503 はキュー、 WAL、バックグラウンドタスクが不健全な状態であることを示します。

注意事項¶

• ログと Trace はネットワークエラー、HTTP 5xx、429 で WAL に書き込み再試行します。他の 4xx は再試行しません。 メトリクスとオブジェクトは周期スナップショットで、WAL には書き込みません。
• ログ/Trace 量と許容 Dataway 停止時間に合わせて wal.max_bytes を調整してください。
• Dataway token と OTLP bearer token は Secret またはアクセス制限した設定ファイルで渡し、リポジトリには登録しないでください。
• 高カーディナリティを避けるため、kubernetes.label_tags には必要な Pod label のみ追加してください。
• RUST_LOG=rsdatakit=debug は大量のログを生成します。短時間の調査のみに使用してください。