コンテンツにスキップ

Dataway Sink


Version-1.14.0 バージョンの Datakit でのみ、ここで説明する Sinker 機能を使用できます。


Dataway Sinker の機能

日々のデータ収集では、複数の異なるワークスペースが存在するため、データをそれぞれ異なるワークスペースへ送信する必要が生じることがあります。例えば、共用の Kubernetes クラスタでは、収集されるデータが異なるチームや事業部門に関係する場合があります。このような場合、特定の属性を持つデータをそれぞれ別のワークスペースへ送信することで、インフラ共用シナリオにおける細粒度の収集を実現できます。

Sink リクエストの処理フローは次のとおりです:

sequenceDiagram
autonumber

participant dk as DataKit

box Dataway server
participant etcd
participant dw as DataWay
participant rmatch as Rule matching
participant drop as Drop
end

box Workspaces
participant wksp1 as Workspace
participant wkspx as Default workspace
end

etcd ->> dw: pull sinker rules

activate dw
dk ->> dw: upload
deactivate dw

alt non-sink request
    dw ->> wksp1: write
else sink request
    dw ->> rmatch: matching
end

alt match ok(at lease 1 workspace)
    rmatch ->> wksp1: write
else match failed but enabled default workspace
    rmatch ->> wkspx: write
else no default workspace
    rmatch ->> drop: drop
end

Dataway 1.8.0 は Sinker/非 Sinker の 2 種類のリクエスト受信をサポートしており、Dataway を 1 つだけデプロイすれば済みます。

Dataway カスケードモード

SaaS ユーザーは、自身のローカル環境(k8s Cluster)に振り分け専用の Dataway を 1 つデプロイし、その後データを Openway に転送できます:

Warning

カスケードモードでは、クラスタ内の Dataway でカスケード(cascaded)オプションを有効にする必要があります。インストールドキュメントの環境変数の説明を参照してください。

sequenceDiagram
autonumber

participant dk as DataKit

box local Dataway server
participant etcd
participant dw1 as DataWay
end

box SAAS Dataway server
participant dw2 as DataWay
end

box Workspaces
participant wksp1 as Workspace
end

etcd ->> dw1: pull sinker rules
dk ->> dw1: upload data
dw1 ->> dw1: sink rule matching
dw1 ->> dw2: deliver request
dw2 ->> wksp1: write

カスケードによる影響:

  • 一部の API の動作が異なります。歴史的な理由により、Datakit が送信するリクエストと Kodo 側のリクエスト URL には差異があり、Dataway がここで API 翻訳の役割を担います。カスケードの場合は、API 翻訳機能が無効になります。
  • カスケードされた Dataway は、センターへハートビートリクエストを送信しません。次の Dataway がこのリクエストを処理しないためです(そのため 404 になります)。
  • カスケードされた Dataway が受信したリクエストは、次の Dataway へ送信される際に API 署名が行われません。

Dataway のインストール

こちらを参照してください。

Dataway の設定

Dataway の通常設定に加えて、いくつかの設定を追加する必要があります(/usr/local/cloudcare/dataflux/dataway/dataway.yaml にあります):

# ここでは Dataway のアップロード先を設定します。通常は Kodo ですが、別の Dataway にすることもできます
remote_host: https://kodo.guance.com

# アップロード先が Dataway の場合は、ここを true に設定して Dataway のカスケードを有効にします
cascaded: false

# この token は Dataway 上で任意に設定する token です。これを
# Datakit の datakit.conf 設定に記入する必要があります。一定の長さと形式を保つ必要があります。
secret_token: tkn_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# sinker ルールの設定
sinker:
  etcd: # etcd をサポートします
    urls:
    - http://localhost:2379
    dial_timeout: 30s
    key_space: /dw_sinker
    username: "dataway"
    password: "<PASSWORD>"

  #file: # ローカルファイル方式もサポートします。主にデバッグに使用します
  #  path: /path/to/sinker.json
Warning

secret_token を設定しない場合、Datakit から送信されるあらゆるリクエストが通過できます。これによりデータの問題は発生しませんが、Dataway をパブリックネットワークにデプロイする場合は、secret_token を設定することを推奨します。

Sinker ルールの設定

Dataway Sinker ルールは JSON 形式の設定の集合であり、マッチングルールの記述方法はブラックリストの記述方法と同じです。こちらを参照してください。

現在、2 種類の設定ソースをサポートしています:

  • ローカルで JSON ファイルを指定する方法。主に Sinker ルールのデバッグに使用します。この場合、JSON ファイル内の Sinker ルールを更新した後、有効にするには Dataway を再起動する必要があります
  • Etcd:デバッグ済みのルールファイルを etcd に保存します。その後ルールを微調整する場合は、etcd を直接更新するだけで、Dataway を再起動する必要はありません

実際には、etcd に保存する JSON はローカルファイルの JSON と同じ内容です。以下では etcd での管理方法のみを説明します。

Etcd の設定

以下のコマンドはすべて Linux 上で実行します。

Dataway は etcd クライアントとして、etcd で次のユーザー名とロールを設定できます(etcd 3.5+)。こちらを参照してください。

dataway アカウントと対応するロールを作成します:

# ユーザー名を追加します。ここでパスワードの入力が求められます
$ etcdctl user add dataway

# sinker ロールを追加します
$ etcdctl role add sinker

# dataway をロールに追加します
$ etcdctl user grant-role dataway sinker

# ロールの key 権限を制限します(ここでは /dw_sinker と /ping がデフォルトで使用される 2 つの key です)
$ etcdctl role grant-permission sinker readwrite /dw_sinker
$ etcdctl role grant-permission sinker readwrite /ping       # 接続性の確認に使用します
なぜロールを作成するのですか?

ロールは、対象ユーザーの特定の key に対する権限を制御するために使用します。ここではユーザーが既に運用している etcd サービスを利用する可能性があるため、Dataway ユーザーのデータ権限を制限しておくことが必要です。

Warning

etcd で認証モードが有効になっている場合、etcdctl コマンドの実行時に対応するユーザー名とパスワードを指定する必要があります:

$ etcdctl --user name:password ...

Sinker ルールの書き込み

新バージョン(1.3.6)の Dataway では、dataway コマンドを使用して etcd 内の Sinker ルールを操作できます。

sinker.json のルール定義が次のとおりであるとします:

{
    "strict":true,
    "rules": [
        {
            "rules": [
                "{ host = 'my-host'}"
            ],
            "url": "https://kodo.guance.com?token=tkn_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
        },
        {
            "rules": [
                "{ host = 'my-host' OR cluster = 'cluster-A' }"
            ],
            "url": "https://kodo.guance.com?token=tkn_yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
        }
     ]
}

次のコマンドで Sinker ルール設定を書き込めます:

$ etcdctl --user dataway:PASSWORD put /dw_sinker "$(<sinker.json)"
OK
ワークスペース情報を識別する

sinker.json ではコメントがサポートされていないため、JSON に info フィールドを追加してメモとして利用することで、コメントの役割を果たせます:

{
    "rules": [
        "{ host = 'my-host' OR cluster = 'cluster-A' }"
    ],
    "info": "これは yyy ワークスペースです",
    "url": "https://kodo.guance.com?token=tkn_yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
}

デフォルトルール

Version-1.6.0

特定のルールエントリに as_default 識別子を追加すると、そのルールをデフォルトのフォールバックルールに設定できます。フォールバックルールにはマッチング条件を設定しないことも可能です(rules フィールドを設定しない)。また、通常のルールマッチングには参加させないでください。推奨されるフォールバックルールは次のとおりです:

{
    "as_default": true,
    "info": "これはデフォルトのフォールバックワークスペースです",
    "url": "https://kodo.guance.com?token=tkn_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
}

注意:フォールバックルールは 1 つだけ設定してください。sinker 設定に複数のフォールバックルールが存在する場合、最後のものが優先されます。

Token ルール

Datakit は Dataway 上の token を検査するため、ここで設定する token(secret_token を含む)は次の条件を満たす必要があります:

token_ または tkn_ で始まり、それに続く文字列の長さが 32 であること。

この条件を満たさない token の場合、Datakit のインストールは失敗します。

Datakit 側の設定

Datakit では、収集したデータに特定のタグを付与してグループ化できるよう、いくつかの設定を行う必要があります。

  • グローバルカスタム Key リストを設定する

Datakit は収集したデータの中から、これらの Key を持つフィールド(文字列型のフィールドのみ)を探して抽出し、送信時のグループ化の基準とします。

こちらを参照してください。

こちらを参照してください。

  • 「グローバルホストタグ」および「グローバル Election タグ」を設定する

Datakit がアップロードするすべてのデータには、設定されたこれらのグローバルタグ(tag key と tag value を含む)が付与され、送信時のグループ化の基準となります。

こちらを参照してください。

こちらを参照してください。

Datakit 側の Customer Key 設定

特定の Datakit が収集したデータを振り分けの要件に適合させたい場合は、次の点を確認する必要があります:

  • Datakit で Sinker 機能が有効になっている
  • Datakit に有効な Global Customer Key が設定されている

これら 2 つの設定は次のとおりです:

# /usr/local/datakit/conf.d/datakit.conf
[dataway]

  # customer key のセットを指定します
  global_customer_keys = [
    # 例:category と class の 2 つの key を追加します
    # ここにはあまり多くの key を設定しないでください。通常は 2 ~ 3 個で十分です
    "category",
    "class",
  ]

  # sinker 機能を有効にします
  enable_sinker = true

Synthetic テストデータや通常のデータ分類に加えて、セッションリプレイやプロファイリングなどのバイナリファイルデータもサポートされるため、ここではすべてのフィールド名を選択できます。注意すべき点は、文字列型以外のフィールドを設定しないことです。通常の Key は一般に Tag に由来します(すべての Tag 値は文字列型です)。Datakit は文字列型以外のフィールドを振り分けの基準として扱いません。

グローバルタグの影響

global_customer_keys が振り分けマーカーに影響するほか、Datakit に設定されたグローバルタグ(グローバル Election タグとグローバルホストタグを含む)も振り分けマーカーに影響します。つまり、データポイントにグローバルタグに含まれるフィールド(これらのフィールド値の型は文字列型である必要があります)がある場合、それも振り分けに含まれます。グローバル Election タグが次のとおりであるとします:

# datakit.conf
[election.tags]
    cluster = "my-cluster"

次のデータポイントについて:

pi,cluster=cluster_A,app=math,other_tag=other_value value=3.14 1712796013000000000

グローバル Election タグに cluster が含まれており(その Tag に設定された値に関係なく)、このポイント自身にも cluster という Tag があるため、最終的な X-Global-Tags には cluster=cluster_A のキーと値のペアが追加されます:

X-Global-Tags: cluster=cluster_A

global_customer_keys にさらに app という key を設定した場合、最終的な振り分けヘッダーは次のとおりです(2 つのキーと値のペアの順序は重要ではありません):

X-Global-Tags: cluster=cluster_A,app=math
Note

ここの例では、datakit.conf の cluster に設定された値とデータポイントの cluster フィールドの値を意図的に異なるものにしており、主にここでの Tag Key の影響を強調するためです。データポイントに条件を満たすグローバル Tag Key が一度でも出現すると、その効果はこのグローバル Tag Key が global_customer_keys に追加された場合と同等であると理解できます。

Dataway sink コマンド

Dataway はバージョン Version-1.3.6 以降、コマンドラインで sinker の設定を管理できます。具体的な使用方法は次のとおりです:

$ ./dataway sink --help

Usage of sink:
  -add string
        single rule json file
  -cfg-file string
        configure file (default "/usr/local/cloudcare/dataflux/dataway/dataway.yaml")
  -file string
        file path of the rule json, only used for command put and get
  -get
        get the rule json
  -list
        list rules
  -log string
        log file path (default "/dev/null")
  -put
        save the rule json
  -token string
        rules filtered by token, eg: xx,yy

設定ファイルの指定

コマンド実行時にデフォルトで読み込まれる設定ファイルは /usr/local/cloudcare/dataflux/dataway/dataway.yaml です。他の設定を読み込む必要がある場合は、--cfg-file で指定できます。

$ ./dataway sink --cfg-file dataway.yaml [--list...]

コマンドログの設定

デフォルトでは、コマンドの出力ログは無効になっています。確認する必要がある場合は、--log パラメータを設定してください。

# ログを標準出力に出力します
$ ./dataway sink --list --log stdout

# ログをファイルに出力します
$ ./dataway sink --list --log /tmp/log

ルール一覧の表示

# すべてのルールを一覧表示します
$ ./dataway sink --list

# token でフィルタリングしたすべてのルールを一覧表示します
$ ./dataway sink --list --token=token1,token2

CreateRevision: 2
ModRevision: 41
Version: 40
Rules:
[
    {
        "rules": [
            "{ workspace = 'zhengb-test'}"
        ],
        "url": "https://openway.guance.com?token=token1"
    }
]

ルールの追加

ルールファイル rule.json を作成し、内容は次のとおりにします:

[
  {
    "rules": [
      "{ host = 'HOST1'}"
    ],
    "url": "https://openway.guance.com?token=tkn_xxxxxxxxxxxxx"
  },
  {
    "rules": [
      "{ host = 'HOST2'}"
    ],
    "url": "https://openway.guance.com?token=tkn_yyyyyyyyyyyyy"
  }
]

ルールを追加します

$ ./dataway sink --add rule.json

add 2 rules ok!

設定のエクスポート

設定をエクスポートすると、sinker 設定をローカルファイルに出力できます。

$ ./dataway sink --get --file sink-get.json

rules json was saved to sink-get.json!

設定の書き込み

設定を書き込むと、ローカルルールファイルが sinker に同期されます。

ルールファイル sink-put.json を作成し、内容は次のとおりにします:

{
    "rules": [
        {
            "rules": [
                "{ workspace = 'test'}"
            ],
            "url": "https://openway.guance.com?token=tkn_xxxxxxxxxxxxxx"
        }
    ],
    "strict": true
}

設定を書き込みます

$ ./dataway sink --put --file sink-put.json

設定例

Kubernetes での dataway.yaml の例(クリックして展開)

yaml で sinker JSON を直接指定します:

---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: deployment-utils-dataway
  name: dataway
  namespace: utils
spec:
  replicas: 1
  selector:
    matchLabels:
      app: deployment-utils-dataway
  template:
    metadata:
      labels:
        app: deployment-utils-dataway
      annotations:
        datakit/logs: |
          [{"disable": true}]
        datakit/prom.instances: |
          [[inputs.prom]]
            url = "http://$IP:9090/metrics" # ここのポート(デフォルト 9090)は状況に応じて設定します
            source = "dataway"
            measurement_name = "dw" # このメジャーメントに固定します
            interval = "10s"

            [inputs.prom.tags]
              namespace = "$NAMESPACE"
              pod_name = "$PODNAME"
              node_name = "$NODENAME"
    spec:
      affinity:
        podAffinity: {}
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: app
                    operator: In
                    values:
                      - deployment-utils-dataway
              topologyKey: kubernetes.io/hostname

      containers:
      - image: registry.jiagouyun.com/dataway/dataway:1.3.6 # ここで適切なバージョン番号を選択します
        #imagePullPolicy: IfNotPresent
        imagePullPolicy: Always
        name: dataway
        env:
        - name: DW_REMOTE_HOST
          value: "http://kodo.forethought-kodo:9527" # ここに実際の Kodo アドレス、または次の Dataway アドレスを入力します
        - name: DW_BIND
          value: "0.0.0.0:9528"
        - name: DW_UUID
          value: "agnt_xxxxx" # ここに実際の Dataway UUID を入力します
        - name: DW_TOKEN
          value: "tkn_oooooooooooooooooooooooooooooooo" # ここに実際の Dataway token を入力します。通常はシステムワークスペースの token です
        - name: DW_PROM_LISTEN
          value: "0.0.0.0:9090"
        - name: DW_SECRET_TOKEN
          value: "tkn_zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz"
        - name: DW_SINKER_FILE_PATH
          value: "/usr/local/cloudcare/dataflux/dataway/sinker.json"
        ports:
        - containerPort: 9528
          name: 9528tcp01
          protocol: TCP
        volumeMounts:
          - mountPath: /usr/local/cloudcare/dataflux/dataway/cache
            name: dataway-cache
          - mountPath: /usr/local/cloudcare/dataflux/dataway/sinker.json
            name: sinker
            subPath: sinker.json
        resources:
          limits:
            cpu: '4'
            memory: 4Gi
          requests:
            cpu: 100m
            memory: 512Mi
      # nodeSelector:
      #   key: string
      imagePullSecrets:
      - name: registry-key
      restartPolicy: Always
      volumes:
      - hostPath:
          path: /root/dataway_cache
        name: dataway-cache
      - configMap:
          name: sinker
        name: sinker
---

apiVersion: v1
kind: Service
metadata:
  name: dataway
  namespace: utils
spec:
  ports:
  - name: 9528tcp02
    port: 9528
    protocol: TCP
    targetPort: 9528
    nodePort: 30928
  selector:
    app: deployment-utils-dataway
  type: NodePort

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: sinker
  namespace: utils
data:
  sinker.json: |
    {
        "strict":true,
        "rules": [
            {
                "rules": [
                    "{ project = 'xxxxx'}"
                ],
                "url": "http://kodo.forethought-kodo:9527?token=tkn_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
            },
            {
                "rules": [
                    "{ project = 'xxxxx'}"
                ],
                "url": "http://kodo.forethought-kodo:9527?token=tkn_yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
            }
         ]
    }
Ingress 設定例(クリックして展開)
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: dataway-sinker
  namespace: utils
spec:
  ingressClassName: nginx
  rules:
  - host: datawaysinker-xxxx.com
    http:
      paths:
      - backend:
          service:
            name: dataway
            port:
              number: 9528
        path: /
        pathType: ImplementationSpecific

FAQ

破棄されたリクエストの詳細を確認する

Version-1.3.7

あるリクエストが Sinker ルールに一致しない場合、Dataway はそのリクエストを破棄し、メトリクスに破棄カウントを 1 つ追加します。ただしデバッグ段階では、破棄されたリクエストの具体的な状況、特にリクエストヘッダーに含まれる X-Global-Tags 情報を知る必要があります。

次のコマンドで Dataway ログを検索できます:

$ cat <path/to/dataway/log> | grep dropped

出力結果では、次のような出力を確認できます:

for API /v1/write/logging with X-Global-Tags <some-X-Global-Tags...> dropped

Datakit リクエストが破棄された場合の調査

Version-1.3.9

Datakit リクエストが Dataway によって破棄されると、Dataway は対応する HTTP エラーを返します。Datakit のログには、次のようなエラーが記録されます:

post 3641 to http://dataway-ip:9528/v1/write/metric failed(HTTP: 406 Not Acceptable):
{"error_code":"dataway.sinkRulesNotMatched","message":"X-Global-Tags: `host=my-host',
URL: `/v1/write/metric'"}, data dropped

このエラーは、リクエスト /v1/write/metric が自身の X-Global-Tags により Dataway 上のすべてのルールを満たさないため破棄されたことを示します。

同時に、Datakit monitor(datakit monitor -V)右下の DataWay APIs パネルでは、Status 列に Not Acceptable が出力され、対応する Dataway API リクエストが破棄されたことを示します。

Datakit 自身のメトリクスを確認すると、対応するメトリクスも確認できます:

$ curl -s http://localhost:9529/metrics | grep datakit_io_dataway_api_latency_seconds_count

datakit_io_dataway_api_latency_seconds_count{api="/v1/datakit/pull",status="Not Acceptable"} 50
datakit_io_dataway_api_latency_seconds_count{api="/v1/write/metric",status="Not Acceptable"} 301

Datakit の 403 エラー

Dataway 上の sinker 設定に誤りがあると、すべての Datakit リクエストが secret_token を使用する状態になります。しかしこの token はセンター(Kodo)で認められていないため、403 エラー kodo.tokenNotFound が報告されます。

この問題の原因として、etcd のユーザー名またはパスワードが誤っているために Dataway が Sinker 設定を取得できず、その結果 Dataway が現在の sinker を無効と判断し、すべてのデータがセンターへ直接送信されている可能性があります。

Etcd の権限設定の問題

Dataway ログに次のエラーがある場合、権限設定に問題がある可能性があります:

sinker ping: etcdserver: permission denied, retrying(97th)

権限設定が不適切な場合は、既存の Dataway に基づく権限をすべて削除してから再設定できます。詳細はこちらを参照してください。

Datakit 側の Key の上書き関係

「グローバルカスタム Key リスト」を設定する際、同時に「グローバルホストタグ」および「グローバル Election タグ」にも同名の Key がある場合、収集データ内の対応する Key-Value ペアを使用します。

例えば、設定した「グローバルカスタム Key リスト」に key1,key2,key3 があり、「グローバルホストタグ」または「グローバル Election タグ」にもこれらの Key が設定され、対応する値(例:key1=value-1)が指定されているとします。あるデータ収集で key1=value-from-data というフィールドも含まれている場合、最終的なグループ化の基準にはデータ内の key1=value-from-data が使用され、「グローバルホストタグ」および「グローバル Election タグ」に設定された対応する Key の Value は無視されます。

「グローバルホストタグ」と「グローバル Election タグ」の間に同名の Key がある場合、「グローバル Election タグ」の Key が優先されます。まとめると、Key の値の取得元の優先順位は次のとおりです(降順):

  • 収集データ
  • グローバル Election タグ
  • グローバルホストタグ

組み込みの「グローバルカスタム Key」

Datakit には次のようないくつかの利用可能なカスタム Key が組み込まれています。これらは通常、収集データには現れませんが、Datakit はこれらの Key でデータをグループ化できます。これらの Key の軸で振り分けが必要な場合は、「グローバルカスタム Key」リストに追加できます(これらの Key はデフォルトでは設定されていません)。次の組み込みカスタム Key を使用してデータの振り分けを実現できます。

Warning

追加した「グローバルカスタム Key」はデータ送信時のパケット分割を引き起こします。粒度が細かすぎると、Datakit のアップロード効率が急激に低下します。通常、「グローバルカスタム Key」は 3 個以下にすることを推奨します。

  • class はオブジェクトデータ向けです。有効にすると、オブジェクトの分類に応じて振り分けます。例えば Pod のオブジェクト分類が kubelet_pod の場合、pod を対象に振り分けルールを作成できます:
{
    "strict": true,
    "rules": [
        {
            "rules": [
                "{ class = 'kubelet_pod' AND other_conditon = 'some-value' }",
            ],
            "url": "https://kodo.guance.com?token=<YOUR-TOKEN>"
        },
        {
            ... # その他のルール
        }
    ]
}
  • measurement はメトリクスデータ向けです。特定のメジャーメントを特定のワークスペースに送信できます。例えばディスクのメジャーメント名が disk の場合、次のようにルールを記述できます:
{
    "strict": true,
    "rules": [
        {
           "rules": [
               "{ measurement = 'disk' AND other_conditon = 'some-value' }",
           ],
           "url": "https://kodo.guance.com?token=<YOUR-TOKEN>"
        },
        {
            ... # その他のルール
        }
    ]
}
  • source はログ(L)、eBPF ネットワークメトリクス(N)、イベント(E)および RUM データ向けです
  • service は Tracing、Scheck およびプロファイリング向けです
  • category はすべての通常のデータ分類向けで、値は対応するデータ分類の「名前」列(例:時系列は metric、オブジェクトは object など)です。ログを例にすると、次のようにログ専用の振り分けルールを作成できます:
{
    "strict": true,
    "rules": [
        {
            "rules": [
                "{ category = 'logging' AND other_conditon = 'some-value' }",
            ],
            "url": "https://kodo.guance.com?token=<YOUR-TOKEN>"
        },
        {
            ... # その他のルール
        }
    ]
}

特殊な振り分け動作

Version-2.0.0 以降、Datakit は point 書き込み系リクエスト(/v1/write/*)にのみ Dataway Sinker ヘッダーを追加します。センターからリソースを取得する、アイデンティティ識別を行う、または設定を同期するその他の Dataway API は X-Global-Tags/X-Global-Tags-V2 を送信しなくなるため、これらの API に特別な振り分けルールを追加する必要はありません。

Datakit 2.0.0 より前のバージョンでは、Datakit が発行する一部のリクエストは、センターからリソースを取得する、または自身のアイデンティティ識別を行うことを目的としており、その動作自体がすでにアトミックで分割できません。また、これらのリクエストを複数のワークスペースに振り分けることはできません(Datakit がこれらの API リクエストの返却を処理し、自身の後続動作を決定する必要があるため)。そのため、これらの API は最大で 1 つのワークスペースにのみ振り分けられます。

振り分けルールで複数の条件を満たす場合でも、これらの API は最初に条件を満たすルールが指すワークスペースにのみ振り分けられます。

以下は Datakit 2.0.0 より前のバージョンで使用できる互換ルールの例です:

旧バージョンの Datakit でこれらの API を特定のワークスペースに固定する必要がある場合にのみ、このルールを追加する必要があります。Datakit 2.0.0 以降では追加不要です。

{
    "strict": true,
    "info": "特殊ワークスペース(データ取得などの API 専用)",
    "rules": [
        {
            "rules": [
                "{ __dataway_api in ['/v1/datakit/pull', '/v1/election', '/v1/election/heartbeat', '/v1/query/raw', '/v1/workspace', '/v1/object/labels', '/v1/check/token'] }"
            ],
            "url": "https://kodo.guance.com?token=<SOME-SPECIAL-WORKSPACE-TOKEN>"
        }
    ]
}
Info

これらの API URL の説明は次のとおりです:

  • /v1/election:Election リクエスト
  • /v1/election/heartbeat:Election ハートビートリクエスト
  • /v1/datakit/pull:センターに設定された Pipeline とブラックリストを取得します
  • /v1/query/raw:DQL クエリ
  • /v1/workspace:ワークスペース情報を取得します
  • /v1/object/labels:オブジェクトデータを更新/削除します
  • /v1/check/token:ワークスペース Token 情報を確認します

Datakit 2.0.0 より前では、__dataway_api という key を datakit.conf の global_customer_keys に設定する必要はありません。Dataway はデフォルトでこれを振り分けの Key とし、現在のリクエストの API ルートをその value とします。つまり、ある API について次のようになります:

POST /v1/some/api
X-Global-Tags: cluster=cluster_A,app=math

最終的な振り分けで寄与する効果は次の場合と同じです:

POST /v1/some/api
X-Global-Tags: cluster=cluster_A,app=math,__dataway_api=/v1/write/metrics

したがって、旧バージョンとの互換性が必要なシナリオでは、Sink ルール内で __dataway_api の KV ペアを直接使用してマッチングできます。また、この特殊ルールには、/v1/write/... のようなその他の重要なデータアップロード API を追加しないでください。そうしないと、データが最終的にどのワークスペースに保存されるかが未定義になります。Datakit 2.0.0 以降では、これらの非 point 書き込み系 API は Sinker ヘッダーを送信しなくなるため、__dataway_api ルールに依存して振り分ける必要はありません。

フィードバック

このページは役に立ちましたか?