데이터 집계 및 테일 샘플링¶
데이터가 플랫폼에 들어오기 전에 집계 및 테일 샘플링을 수행하면 비즈니스 요구에 따라 요약 메트릭을 생성하고, 저장해야 할 원본 데이터를 줄일 수 있습니다.
- 데이터 집계: 시간 창과 차원에 따라 카운트, 합계, 평균 등의 메트릭을 계산합니다. 집계와 원본 데이터 보존 여부는 서로 독립적인 설정 문제입니다.
- 테일 샘플링: 동일한 그룹의 데이터를 먼저 모은 다음, 이미 도착한 데이터를 기준으로 보존 또는 폐기를 결정합니다. 트레이스 시나리오에서는 일반적으로
trace_id로 그룹화하며, 오류 트레이스를 우선 보존하고 일반 트레이스는 비율에 따라 샘플링할 수 있습니다.
SDK 헤드 샘플링, 수집기 필터링 또는 Pipeline에서 이미 폐기된 데이터는 테일 샘플링으로 복구할 수 없습니다. 전체 트레이스를 기반으로 판단해야 할 때는 관련 Span이 처리 노드에 도달할 수 있도록 먼저 보장해야 합니다.
처리 방식 선택¶
| 비교 항목 | Dataway 방식 | EdgeFlow 방식 |
|---|---|---|
| 처리 컴포넌트 | Dataway의 집계 및 테일 샘플링 기능 | DataKit과 Dataway 사이에 독립적으로 배포된 EdgeFlow |
| DataKit 연동 | Aggregator를 구성하고 집계 패킷 또는 테일 샘플링 데이터 패킷을 전송 | Aggregator를 구성하고 트레이스 데이터를 EdgeFlow로 전송 |
| 규칙 설정 | DataKit Aggregator 설정 및 Dataway 설정 | DataKit에서 데이터 전송을 구성하며, 실제 샘플링 규칙은 EdgeFlow 로컬 DSL 파일에서 관리 및 적용 |
| 이 섹션의 범위 | 메트릭 집계, 테일 샘플링, Spill 임시 디스크 저장 | 트레이스 테일 샘플링, 호스트 및 Docker 배포, 로컬 규칙 관리 |
| 사용 사례 | 이미 Dataway를 사용 중이며 기존 트레이스에 처리 기능을 추가하려는 경우 | 트레이스 샘플링 노드를 독립적으로 배포하고 관리하려는 경우 |
두 방식은 각각 해당 문서에 따라 구성합니다. Dataway의 aggregator_mode와 EdgeFlow의 전체 프록시, 단일 샘플링 연동 방식은 의미가 다르며, 두 방식의 규칙 형식도 서로 직접 호환되지 않습니다.
Dataway 방식¶
- Dataway 설치 및 사용을 확인하고 처리 노드를 준비합니다.
- DataKit Aggregator를 참고하여 수집 측의 데이터 전송과 규칙을 구성합니다.
- 필요에 따라 메트릭 집계 또는 테일 샘플링을 활성화합니다.
- 판단 대기 데이터를 임시로 디스크에 저장해야 할 때는 테일 샘플링 Spill을 참조하십시오.
EdgeFlow 방식¶
EdgeFlow 테일 샘플링을 참조하여 “연동 방식 선택 → 설치 → 로컬 DSL 규칙 적용 → DataKit 구성 → 결과 검증” 순서로 작업합니다.
샘플링된 트레이스 수는 실제 요청량을 직접 대표할 수 없습니다. 오류 보존과 대상 지정 폐기는 샘플 분포를 변경하므로, 요청량, 오류율 및 지연 분포에는 샘플링 전의 독립 메트릭을 우선 사용하고 통계 기준을 명확히 해야 합니다.