콘텐츠로 이동

데이터 집계 및 테일 샘플링

데이터가 플랫폼에 들어오기 전에 집계 및 테일 샘플링을 수행하면 비즈니스 요구에 따라 요약 메트릭을 생성하고, 저장해야 할 원본 데이터를 줄일 수 있습니다.

  • 데이터 집계: 시간 창과 차원에 따라 카운트, 합계, 평균 등의 메트릭을 계산합니다. 집계와 원본 데이터 보존 여부는 서로 독립적인 설정 문제입니다.
  • 테일 샘플링: 동일한 그룹의 데이터를 먼저 모은 다음, 이미 도착한 데이터를 기준으로 보존 또는 폐기를 결정합니다. 트레이스 시나리오에서는 일반적으로 trace_id로 그룹화하며, 오류 트레이스를 우선 보존하고 일반 트레이스는 비율에 따라 샘플링할 수 있습니다.

SDK 헤드 샘플링, 수집기 필터링 또는 Pipeline에서 이미 폐기된 데이터는 테일 샘플링으로 복구할 수 없습니다. 전체 트레이스를 기반으로 판단해야 할 때는 관련 Span이 처리 노드에 도달할 수 있도록 먼저 보장해야 합니다.

처리 방식 선택

비교 항목 Dataway 방식 EdgeFlow 방식
처리 컴포넌트 Dataway의 집계 및 테일 샘플링 기능 DataKit과 Dataway 사이에 독립적으로 배포된 EdgeFlow
DataKit 연동 Aggregator를 구성하고 집계 패킷 또는 테일 샘플링 데이터 패킷을 전송 Aggregator를 구성하고 트레이스 데이터를 EdgeFlow로 전송
규칙 설정 DataKit Aggregator 설정 및 Dataway 설정 DataKit에서 데이터 전송을 구성하며, 실제 샘플링 규칙은 EdgeFlow 로컬 DSL 파일에서 관리 및 적용
이 섹션의 범위 메트릭 집계, 테일 샘플링, Spill 임시 디스크 저장 트레이스 테일 샘플링, 호스트 및 Docker 배포, 로컬 규칙 관리
사용 사례 이미 Dataway를 사용 중이며 기존 트레이스에 처리 기능을 추가하려는 경우 트레이스 샘플링 노드를 독립적으로 배포하고 관리하려는 경우

두 방식은 각각 해당 문서에 따라 구성합니다. Dataway의 aggregator_mode와 EdgeFlow의 전체 프록시, 단일 샘플링 연동 방식은 의미가 다르며, 두 방식의 규칙 형식도 서로 직접 호환되지 않습니다.

Dataway 방식

  1. Dataway 설치 및 사용을 확인하고 처리 노드를 준비합니다.
  2. DataKit Aggregator를 참고하여 수집 측의 데이터 전송과 규칙을 구성합니다.
  3. 필요에 따라 메트릭 집계 또는 테일 샘플링을 활성화합니다.
  4. 판단 대기 데이터를 임시로 디스크에 저장해야 할 때는 테일 샘플링 Spill을 참조하십시오.

EdgeFlow 방식

EdgeFlow 테일 샘플링을 참조하여 “연동 방식 선택 → 설치 → 로컬 DSL 규칙 적용 → DataKit 구성 → 결과 검증” 순서로 작업합니다.

샘플링된 트레이스 수는 실제 요청량을 직접 대표할 수 없습니다. 오류 보존과 대상 지정 폐기는 샘플 분포를 변경하므로, 요청량, 오류율 및 지연 분포에는 샘플링 전의 독립 메트릭을 우선 사용하고 통계 기준을 명확히 해야 합니다.

문서 평가

이 페이지가 도움이 되었나요?