전달 규칙 생성¶
전제 조건¶
상용 플랜에만 해당합니다.
생성 시작¶
데이터 전송 > 전달 규칙 > 규칙 생성 페이지로 이동합니다.
데이터 전송 규칙이 생성되면 시스템이 5분마다 규칙을 검증합니다.
1단계: 규칙 이름 입력¶
현재 데이터 전송 규칙의 이름을 입력합니다. 최대 64자까지 지원합니다. 규칙 이름은 규칙 목록, 검색, 삭제 확인 및 감사 기록에서 해당 규칙을 식별하는 데 사용됩니다.
2단계: 전달 규칙 정의¶
1. 데이터 소스
로그, APM, RUM, LLM, Agent, 이벤트, 감사 이벤트를 포함합니다.
2. 필터 조건
조건 간의 연산 로직을 사용자 정의할 수 있습니다. 여러 개를 추가할 수 있습니다.
- 모든 조건: 모든 필터 조건을 충족하는 로그 데이터만 데이터 전송에 저장됩니다.
- 임의 조건: 필터 조건 중 하나라도 충족하면 데이터 전송에 저장됩니다.
조건 연산자는 아래 표를 참조하십시오:
| 조건 연산자 | 일치 유형 |
|---|---|
| in, not in | 정확히 일치, 여러 값 지원(쉼표로 구분) |
필터 조건을 추가하지 않으면 모든 데이터가 저장됩니다.
Pipeline 전송 데이터 처리
중앙 Pipeline 스크립트는 전달 조건 필터링과 최종 콘텐츠에 영향을 미칩니다.
스크립트를 생성할 때 "Pipeline을 사용하여 전송 데이터 처리"를 선택할 수 있습니다. 선택하면 데이터가 스크립트에서 처리된 후 필터링되어 전송됩니다. 선택하지 않으면 원시 데이터가 직접 전송됩니다.
3. 고급 설정
로그를 데이터 소스로 선택한 경우 추가로 구성할 수 있습니다.
-
확장 필드 포함: 기본적으로 조건에 맞는 로그의
message필드 내용만 전달됩니다. "확장 필드 포함"을 선택하면 조건에 맞는 전체 로그 데이터가 전달됩니다.- 여러 데이터 전달 규칙을 생성할 때는 확장 필드 포함을 선택한 규칙이 우선 일치됩니다. 다른 규칙이 동일한 데이터에 적중되면 확장 필드 포함 로직에 따라 전체 로그 데이터가 먼저 표시됩니다.
-
인덱스 제한: 드롭다운에서 네이티브 직접 쓰기 인덱스를 선택합니다. 활성화하면 선택한 인덱스의 로그 데이터만 전달됩니다. (❗️인덱스 제한을 활성화하면 이 데이터 전달 규칙의 성능 소모가 크게 감소합니다.)
3단계: 전달 대상 선택¶
보다 포괄적인 데이터 전달 방식을 제공하기 위해 시스템은 유형별로 다음과 같은 전달 대상을 제공합니다.
| 유형 | 전달 대상 |
|---|---|
| 내장 스토리지 | Guance: 일치하는 로그 데이터가 Guance 측의 OSS, S3, OBS 객체 스토리지에 저장됩니다. |
| 객체 스토리지 | AWS S3, Huawei Cloud OBS, Alibaba Cloud OSS, Volcengine TOS, Google Cloud GCS |
| 분석 플랫폼 | Apache Doris, TiDB Cloud Lake |
| 메시지 큐 | Kafka |
참고
- Google Cloud GCS는 중국 홍콩 및 글로벌 리전 사이트만 지원합니다.
- 데이터 전달 스토리지 대상으로 Guance를 선택하면 로그 데이터의 최소 저장 기간은 기본 180일이며, 규칙이 생성되면 취소할 수 없습니다. 저장 기간 동안 매일 요금이 청구됩니다. 관리 > 워크스페이스 설정 > 데이터 저장 정책 변경에서 수정할 수 있습니다.
스토리지 형식¶
필요에 따라 데이터 스토리지 형식을 선택합니다.
- JSON: 텍스트 형식입니다. (❗️데이터를 Guance로 전달할 때는 JSON 스토리지 형식만 선택할 수 있습니다.)
- Parquet: 열 기반 스토리지 형식입니다.
| 특성 | JSON | Parquet |
|---|---|---|
| 기능적 위치 | 즉시 소비 및 통합을 위한 표준 형식 | 저비용 아카이빙 및 오프라인 분석에 최적화된 형식 |
| 데이터 상태 | 다시 볼 수 있는 핫 데이터. 전달된 데이터는 Guance 플랫폼 내(예: 로그 탐색기)에서 정상적으로 저장 및 표시되어 양쪽에서 일관되게 볼 수 있습니다. | 외부에서 처리되는 콜드 데이터. 데이터 전달 후에도 원본 로그는 Guance 플랫폼 내에서 정상적으로 저장 및 표시되지만, Parquet 형식으로 전달된 복사본은 형식 제한으로 인해 그 내용을 Guance 인터페이스에서 다시 로드하거나 볼 수 없습니다. |
| 핵심 시나리오 | Guance 내 데이터의 관측 가능성을 유지하면서 외부 시스템(SIEM, 자체 구축 로그 저장소 등)이 실시간으로 소비하고 직접 구문 분석할 수 있는 복사본을 제공합니다. | 조건에 맞는 데이터에 대해 외부 빅데이터 시스템이 효율적인 배치 분석을 수행할 수 있도록 스토리지 비용이 더 효율적인 전용 복사본을 생성합니다. |
| 비즈니스 사용 | 다운스트림 비즈니스 시스템은 API, 객체 스토리지 파일 또는 메시지 큐를 통해 Guance 인터페이스 내의 내용과 완전히 동일한 읽기 가능한 로그를 준실시간으로 가져와 다음 용도로 사용할 수 있습니다. |
다운스트림 빅데이터 시스템은 정기적으로(예: 매시간/매일) 객체 스토리지의 Parquet 파일을 배치로 읽어 다음 용도로 사용할 수 있습니다. |
| 주요 영향 | 데이터 이중 쓰기, 양쪽에서 볼 수 있음. 추가 스토리지 비용이 발생하지만 Guance 내외 에코시스템에서 데이터의 일관성과 즉시 사용 가능성을 보장합니다. | 전용 형식, 다시 보기 제한 있음. 생성된 Parquet 복사본은 외부 분석에 최적화되어 있으며 다시 보기에는 적합하지 않으므로 이 복사본 자체는 Guance에서 다시 볼 수 없습니다. 그러나 원본 로그의 Guance 내 관측 가능성에는 영향을 미치지 않습니다. |
암호화 스토리지¶
암호화 스토리지를 활성화하면 시스템이 전달되는 데이터에 대해 대칭 암호화를 수행합니다. 이후에 이 데이터를 조회하거나 확인해야 하는 경우 시스템이 암호화된 데이터를 원래 내용으로 복원하여 표시할 수 있습니다.
대칭 암호화란?
대칭 암호화는 동일한 키를 사용하여 데이터를 암호화하고 복호화하는 방식으로, 하나의 열쇠로 같은 자물쇠를 잠그고 열 수 있는 것과 같습니다.
4단계: 데이터 보기 권한 정의¶
전달된 데이터에 대한 보기 권한을 설정하여 데이터 보안을 강화합니다.
- 무제한: 워크스페이스의 모든 구성원이 전달된 데이터를 볼 수 있습니다.
- 사용자 정의: 전달된 데이터를 볼 수 있는 구성원 역할을 지정합니다.