콘텐츠로 이동

데이터 전송 규칙 생성


전제 조건

상용 플랜에서만 제공됩니다.

생성

데이터 전송 > 전송 규칙 > 규칙 생성 페이지로 이동합니다.

데이터 전송 규칙이 생성되면 시스템은 5분마다 규칙 검증을 실행합니다.

1단계: 규칙 이름 입력

현재 데이터 전송 규칙의 이름을 입력합니다. 최대 64자까지 지원합니다. 규칙 이름은 규칙 목록, 검색, 삭제 확인 및 감사 기록에서 해당 규칙을 식별하는 데 사용됩니다.

2단계: 전송 규칙 정의

1. 데이터 소스

로그, 메트릭, APM, RUM, LLM, Agent, 이벤트, 감사 이벤트를 포함합니다.

메트릭을 선택한 후 필터 조건으로 전송할 메트릭 데이터를 선별할 수 있으며, 이후 단계에서 전송 대상과 데이터 조회 권한을 구성합니다. 전송 내용에는 타임스탬프, 메트릭 값 및 관련 태그가 유지되며, 구체적인 출력 형식은 전송 대상의 수신 프로토콜을 따릅니다.

2. 필터 조건

조건 간 연산 논리를 사용자 지정할 수 있으며, 여러 개를 추가할 수 있습니다.

  • 모든 조건: 모든 필터 조건을 충족하는 데이터만 전송됩니다.

  • 임의 조건: 필터 조건 중 하나라도 충족하면 전송됩니다.

조건 연산자는 다음 표와 같습니다:

조건 연산자 매칭 유형
in, not in 정확히 일치, 다중 값 지원(쉼표로 구분)

여기에서 필터 조건을 추가하지 않으면 선택한 데이터 소스의 전체 데이터를 전송한다는 의미입니다.

Pipeline 전송 데이터 처리

중앙 Pipeline 스크립트는 전송 조건 필터링과 최종 콘텐츠에 영향을 줍니다.

스크립트 생성 시 “Pipeline 전송 데이터 처리 활성화”를 선택할 수 있습니다. 선택하면 데이터가 먼저 스크립트로 처리된 후 필터링되어 저장되며, 선택하지 않으면 원본 데이터를 직접 전송합니다.

3. 고급 설정

로그를 데이터 소스로 선택하면 다음을 추가로 구성할 수 있습니다:

  • 확장 필드 포함: 기본적으로 조건에 맞는 로그의 message 필드 내용만 전송합니다. “확장 필드 포함”을 선택하면 조건에 맞는 전체 로그 데이터가 전송됩니다.

    • 여러 데이터 전송 규칙을 생성한 경우 확장 필드 포함이 선택된 규칙이 우선 매칭됩니다. 서로 다른 규칙이 동일한 데이터에 매칭되면 확장 필드 포함 논리에 따라 전체 로그 데이터를 우선 표시합니다.
  • 인덱스 제한: 드롭다운에서 네이티브 직접 쓰기 인덱스를 선택합니다. 활성화하면 선택한 인덱스의 로그 데이터만 전송됩니다. (❗️인덱스 제한을 활성화하면 해당 데이터 전송 규칙의 성능 소모가 크게 감소합니다)

3단계: 전송 대상 선택

보다 포괄적인 데이터 전송 방식을 제공하기 위해 시스템은 유형별로 다음과 같은 전송 대상을 제공합니다:

유형 전송 대상
내장 스토리지 Guance: 매칭된 로그 데이터는 Guance 측의 OSS, S3, OBS 객체 스토리지에 저장됩니다
객체 스토리지 AWS S3, Huawei Cloud OBS, Alibaba Cloud OSS, Volcengine TOS, Google Cloud GCS
분석 플랫폼 Apache Doris, TiDB Cloud Lake, LogBamboo
메시지 큐 Kafka
주의
  • Google Cloud GCS는 중국 홍콩 및 글로벌 리전 사이트만 지원합니다.

  • 데이터 전송 스토리지 대상으로 Guance를 선택하면 로그 데이터의 최소 보존 기간은 기본 180일이며, 규칙은 생성 후 취소할 수 없습니다. 보존 기간 동안 매일 요금이 부과됩니다. 관리 > 워크스페이스 설정 > 데이터 스토리지 정책 변경에서 수정할 수 있습니다.

스토리지 형식

선택한 대상에서 이 구성 항목을 제공하는 경우 필요에 따라 데이터 스토리지 형식을 선택합니다. LogBamboo는 여기에서 형식을 선택하지 않으며, 내부 Parquet 파일은 서비스 측에서 생성됩니다. 구성 방법은 LogBamboo로 데이터 전송을 참조하세요.

  • JSON: 텍스트 형식 (❗️Guance로 데이터를 전송할 때는 JSON 스토리지 형식만 선택할 수 있습니다);

  • Parquet: 컬럼 기반 스토리지 형식입니다.

아래 표의 Parquet 재조회 제한은 플랫폼이 객체 스토리지로 직접 전송한 Parquet 사본을 의미하며, LogBamboo 쿼리 서비스를 통한 과거 조회에는 적용되지 않습니다.

특성 JSON Parquet
기능 목적 즉시 소비 및 통합을 위한 표준 형식 저비용 아카이빙 및 오프라인 분석을 위한 최적화 형식
데이터 상태 재조회 가능한 핫 데이터입니다. 전송된 데이터는 Guance 플랫폼(예: 로그 탐색기)에 정상 저장 및 표시되며, 양쪽에서 동일하게 확인할 수 있습니다 외부에서 처리하는 콜드 데이터입니다. 데이터 전송 후 원본 로그는 Guance 플랫폼에 정상 저장 및 표시되지만, Parquet 형식으로 전송된 사본은 형식 제한으로 인해 그 내용을 Guance 인터페이스에서 다시 로드하거나 재조회할 수 없습니다
핵심 시나리오 Guance 내 데이터 관측 가능성을 유지하면서 외부 시스템(예: SIEM, 자체 구축 로그 저장소)이 실시간으로 소비할 수 있는, 직접 파싱 가능한 사본을 제공합니다 조건에 맞는 데이터에 대해 외부 빅데이터 시스템이 효율적인 대량 분석을 수행할 수 있도록 스토리지 비용이 더 우수한 전용 사본을 생성합니다
비즈니스 사용 다운스트림 비즈니스 시스템은 API, 객체 스토리지 파일 또는 메시지 큐를 통해 Guance 인터페이스 내 로그와 완전히 동일한 읽기 가능한 로그를 준실시간으로 가져와 다음 용도로 사용할 수 있습니다:
  • 보안 감사(SIEM) 플랫폼과 연동합니다.
  • 자체 구축 로그 분석 도구로 유입하여 2차 처리를 수행합니다
  • 다운스트림 빅데이터 시스템은 객체 스토리지의 Parquet 파일을 주기적으로(예: 매시간/매일) 일괄 읽어 다음 용도로 사용할 수 있습니다:
  • 장기 과거 로그의 규정 준수 아카이빙.
  • 월/연 단위 오프라인 집계 분석 및 보고서 생성
  • 주요 영향 데이터가 이중으로 기록되어 양쪽에서 확인할 수 있습니다. 추가 스토리지 비용이 발생하지만 Guance 내외부 생태계에서 데이터의 일관성과 즉시 사용 가능성을 보장합니다 형식 전용으로 재조회 제한이 있습니다. 생성된 Parquet 사본은 외부 분석에 최적화되어 있어 다시 조회하는 데는 적합하지 않으므로, 해당 사본 자체는 Guance에서 재조회할 수 없습니다. 그러나 원본 로그의 Guance 내 관측 가능성은 전혀 영향을 받지 않습니다

    암호화 스토리지

    이 옵션은 AWS S3, Huawei Cloud OBS, Alibaba Cloud OSS, Volcengine TOS, Google Cloud GCS의 JSON 또는 Parquet 스토리지 형식에만 적용됩니다.

    LogBamboo는 이 스위치를 제공하지 않습니다. 구성 방법은 LogBamboo로 데이터 전송을 참조하세요.

    활성화하면 객체 스토리지로 전송된 파일이 암호화되어 저장됩니다. 파일을 다운로드하여 로컬에서 읽으려면 파일 복호화를 참조하세요.

    대칭 암호화란 무엇인가요?

    대칭 암호화는 동일한 키로 데이터를 암호화하고 복호화하는 암호화 방식입니다. 마치 하나의 열쇠로 같은 자물쇠를 잠그고 열 수 있는 것과 같습니다.

    4단계: 데이터 조회 권한 정의

    전송된 데이터에 조회 권한을 설정하여 데이터 보안을 강화합니다.

    LogBamboo의 경우 콘솔에서 전송된 데이터를 다시 조회하려면 먼저 독립적인 쿼리 Token을 제공해야 합니다. 전송만 수행하는 경우에는 쿼리 Token을 입력하지 않아도 됩니다. 규칙 조회 권한은 LogBamboo 자체의 계정 및 인덱스 권한과 별도로 관리됩니다.

    • 제한 없음: 워크스페이스의 모든 멤버가 전송된 데이터를 조회할 수 있습니다.

    • 사용자 지정: 전송된 데이터를 조회할 수 있는 멤버 역할을 지정합니다.

    문서 평가

    이 페이지가 도움이 되었나요?