DataKit Tracing 数据结构

简述¶

此文用于解释主流 Telemetry 平台数据结构以及与 DataKit 平台数据结构的映射关系 目前支持数据结构：DataDog/Jaeger/OpenTelemetry/SkyWalking/Zipkin/PinPoint

数据转换步骤：

1. 外部 Tracing 数据接入，通过数据多种协议接受数据后进行反序列化。
2. 反序列化后的对象转 Line Protocol （行协议格式）。
3. span 数据运算包括：采样，过滤，添加特定标签等操作。

DataKit Point Protocol 数据结构¶

• Tags

• Field

span_type 为当前 Span 在 Trace 中的相对位置，其取值说明如下：

• entry：当前 API 为入口即链路进入进入服务后的第一个调用
• local: 当前 API 为入口后出口前的 api
• exit: 当前 API 为链路在服务上最后一个调用
• unknown: 当前 API 的相对位置状态不明确

priority 为客户端采样优先级规则：

• PRIORITY_USER_REJECT = -1 用户选择拒绝上报
• PRIORITY_AUTO_REJECT = 0 客户端采样器选择拒绝上报
• PRIORITY_AUTO_KEEP = 1 客户端采样器选择上报
• PRIORITY_USER_KEEP = 2 用户选择上报

OpenTelemetry Tracing 数据结构¶

DataKit 采集从 OpenTelemetry Exporter(OTLP) 中发送上来的数据时，简略的原始数据通过 JSON 序列化之后，如下所示：

resource_spans:{
    resource:{
        attributes:{key:"message.type"  value:{string_value:"message-name"}}
        attributes:{key:"service.name"  value:{string_value:"test-name"}}
    }
    instrumentation_library_spans:{instrumentation_library:{name:"test-tracer"}
    spans:{
        trace_id:"\x94<\xdf\x00zx\x82\xe7Wy\xfe\x93\xab\x19\x95a"
        span_id:".\xbd\x06c\x10ɫ*"
        parent_span_id:"\xa7*\x80Z#\xbeL\xf6"
        name:"Sample-0"
        kind:SPAN_KIND_INTERNAL
        start_time_unix_nano:1644312397453313100
        end_time_unix_nano:1644312398464865900
        status:{}
    }
    spans:{
           ...
        }
}

OpenTelemetry 中的 resource_spans 和 DKProto 的对应关系如下：

OpenTelemetry 有些独有字段， 但 DKProto 没有字段与之对应，所以就放在了标签中，只有这些值非 0 时才会显示，如：

Jaeger Tracing 数据结构¶

Jaeger Thrift Protocol Batch 数据结构¶

Jaeger Thrift Protocol Span 数据结构¶

SkyWalking Tracing Data 数据结构¶

Segment Object Generated By Protobuf Protocol V3¶

SkyWalking Span Object 数据结构 in Segment Object¶

Zipkin Tracing Data 数据结构¶

Zipkin Thrift Protocol Span 数据结构 V1¶

Zipkin Span 数据结构 V2¶