로그¶

현대 IT 인프라에서는 시스템이 분당 수천 개의 로그 이벤트를 생성할 수 있습니다. 이러한 로그는 특정 형식을 따르며 일반적으로 타임스탬프 정보를 포함하고, 서버에서 각각 시스템 로그, 애플리케이션 로그, 보안 로그 등 여러 파일로 출력됩니다. 로그가 각 서버 노드에 분산되어 저장되므로, 시스템 장애 발생 시 운영자는 여러 서버에 개별적으로 로그인하여 로그를 확인해야 하며, 이는 장애 해결의 복잡성과 시간을 크게 증가시킵니다.

수많은 로그 데이터를 처리할 때 팀은 종종 데이터 관리의 어려움에 직면합니다:

어떤 로그를 실시간으로 로그 관리 플랫폼에 전송해야 할까요?

어떤 로그를 보관 처리할 수 있을까요?

데이터 수집 단계에서 필터링을 수행하면 중요한 장애 정보를 놓치거나 가치 있는 데이터를 잘못 삭제하여 추후 문제 해결에 잠재적 위험을 남길 수 있습니다.

이러한 문제를 해결하기 위해 중앙 집중식 로그 관리 플랫폼을 구축하는 것이 중요합니다. 강력한 로그 수집 기능을 통해 분산 환경의 로그 데이터를 워크스페이스로 통합하여 보고함으로써 로그의 중앙 저장, 감사 모니터링, 지능형 알림 및 심층 분석을 구현할 수 있습니다. 이 방식은 사전 필터링으로 인한 데이터 손실 위험을 방지할 뿐만 아니라, 통합 검색 인터페이스와 연관 분석 기능을 통해 장애 진단 효율성을 크게 향상시킵니다.

Guance의 로그 기능은 바로 이러한 개념을 기반으로 설계되었습니다. 고립되었던 로그 데이터를 관측 가능성 체계 전반을 연결하는 '커넥터'로 전환하여 운영 팀이 시스템 상태를 능동적으로 파악하고, 긴급 상황에서 문제의 근본 원인을 신속하게 찾아 수동적 대응에서 능동적 예방으로 운영 방식을 전환할 수 있도록 합니다.

시작하기¶

수집 및 통합¶

Guance는 DataKit 수집기를 통해 유연한 로그 수집 방안을 제공합니다. 사용자 환경에 맞는 적절한 방식을 선택할 수 있습니다.

• 호스트 로그 수집: 서버에 DataKit을 설치한 후 수집기를 구성하여 로그 파일 경로를 지정하면 텍스트 형식의 로그 파일을 수집할 수 있습니다.

• K8s 환경 수집: Kubernetes 클러스터에 DataKit을 DaemonSet 방식으로 배포하면 컨테이너 표준 출력(stdout/stderr) 로그를 자동으로 수집할 수 있습니다.

• 타사 로그 수신: HTTP/S 또는 TCP 프로토콜을 통해 Fluentd, Logstash, Kafka 등 도구의 로그 데이터를 수신하여 기존 기술 스택과의 호환성을 지원합니다.

처리 및 파싱¶

Guance는 Pipeline을 통해 완전한 로그 처리 기능을 제공합니다.

• 구조화된 파싱: Grok 패턴, 정규 표현식을 사용하여 원시 로그 텍스트에서 상태 코드, 타임스탬프 등 핵심 필드를 추출합니다.

• 데이터 표준화: 비정형 로그 텍스트를 통일된 표준 형식으로 변환하여 이후 분석 및 쿼리의 기반을 마련합니다.

쿼리 및 분석¶

Guance는 로그 탐색기를 통해 강력한 쿼리 분석 기능을 제공합니다.

• 필드 기반의 정밀한 필터링 쿼리 및 데이터 검색을 지원하여 대상 로그를 빠르게 찾을 수 있습니다.

• 지능형 분석: 패턴 분석을 통해 로그 패턴을 자동으로 식별하고, 시각화 차트로 데이터 추세를 표시합니다.

• 문제 해결: 로그 컨텍스트 정보를 확인하고, 해당 분산 추적 및 인프라 메트릭과의 연관 분석을 지원합니다.

• 팀 협업: 데이터 스냅샷 기능을 제공하여 안전한 팀 협업 및 지식 공유를 지원합니다.

모니터링 및 알림¶

Guance는 지능형 로그 모니터링 및 알림 기능을 제공합니다.

• 지능형 모니터링 및 알림: 로그 데이터를 기반으로 모니터를 생성하여 이상 상황을 실시간으로 감지하고 초 단위 알림을 통해 문제를 신속하게 발견하고 처리할 수 있도록 보장합니다.

• 정밀한 비용 관리: 대규모 로그 시나리오에서 수집 측의 블랙리스트를 통해 유효하지 않은 로그를 필터링하고, 저장 측의 멀티 인덱스 및 계층형 저장 정책을 통해 저장 비용을 최적화합니다.

보안 및 규정 준수¶

Guance는 완벽한 로그 데이터 보안 관리 방안을 제공합니다.

• 접근 제어: 데이터 접근 기능을 통해 멤버 역할에 따라 데이터 쿼리 범위를 구성하여 세분화된 권한을 관리합니다.

• 민감 데이터 처리: 필드 표시 권한(민감 데이터 마스킹) 기능을 통해 로그 내 민감 정보(예: 주민등록번호, 키, 토큰 등)를 마스킹 처리하여 데이터 규정 준수를 보장합니다.

저장 및 아카이빙¶

Guance는 완벽한 로그 저장 관리 방안을 제공합니다.

• 멀티 인덱스 관리: 여러 로그 인덱스 생성을 지원하여 로그 출처, 비즈니스 속성 등 차원에 따라 데이터를 다른 인덱스로 분류하고, 각 인덱스에 차별화된 저장 정책을 구성할 수 있습니다.

• 데이터 전송 및 아카이빙: 로그 데이터를 Guance 객체 스토리지에 장기 아카이브하거나, 외부 스토리지 시스템으로 실시간 전송하여 데이터 백업, 감사 또는 추가 처리 요구 사항을 충족할 수 있습니다.

빠른 시작¶

사용 단계에 따라 해당 작업 경로를 선택하세요.