모니터 내부 원리¶
네트워크, 시스템 부하 등의 영향으로 모니터의 검사 실행에는 몇 가지 특별한 내부 처리 메커니즘이 있습니다.
검사 트리거 시간¶
사용자가 구성한 검사 빈도는 시스템 내부에서 Crontab 표현식으로 변환됩니다. 모니터는 이 표현식에 따라 엄격하게 정기 실행되며, 생성 또는 저장 후 단순히 N분마다 한 번 실행되는 방식이 아닙니다.
예를 들어 사용자가 "모니터 A"에 구성한 실행 빈도가 "5분"이면 해당 Crontab 표현식은 */5 * * * *입니다. 구체적인 트리거 시간 관계는 다음과 같습니다:
| 동작 | 시간 |
|---|---|
| 사용자가 모니터 생성/저장 | 00:00:30 |
| 모니터가 검사 트리거 | 00:05:00 |
| 모니터가 검사 트리거 | 00:10:00 |
| ... | ... |
데이터 대기 창¶
데이터 대기 창은 예약된 실행 시간이 도달한 후 모니터 판단을 능동적으로 지연하여 지연 보고된 데이터가 저장을 완료할 시간을 더 확보하는 데 사용됩니다.
모니터가 10:00에 실행되도록 예약되어 있고 검사 구간이 최근 1시간, 데이터 대기 창이 5분이라고 가정합니다:
| 단계 | 시간 또는 범위 |
|---|---|
| 예약 실행 시간 | 10:00 |
| 대기 상태 | 10:00 ~ 10:05 |
| 실제 실행 시작 | 약 10:05 |
| 조회 시간 범위 | 여전히 09:00 ~ 10:00 |
데이터 대기 창은 실제 실행 시간만 지연하며, 조회 범위는 여전히 예약 실행 시간을 기준으로 하므로 전체적으로 뒤로 이동하지 않습니다. 대기 중 실행 기록 상태는 "데이터 대기"로 표시됩니다. 작업 대기열의 영향을 받아 실제 실행 시간이 "예약 실행 시간 + 대기 시간"보다 늦어지더라도 작업은 계속 실행되며, 실행 기록에 예약 실행 시간, 대기 설정, 실제 시작 시간이 유지됩니다.
유의할 점:
- 기본적으로 대기하지 않으며, 기존 모니터도 대기하지 않는 방식으로 실행됩니다.
- 대기 시간은 인접한 두 예약 실행 시간의 간격보다 짧아야 합니다.
- 대기 중 모니터가 비활성화되거나 삭제되면 아직 실행되지 않은 대기 작업은 취소됩니다.
검사 범위 보정¶
플랫폼은 모든 사용자가 구성한 수천 개의 모니터를 처리해야 하므로, 동일 시점에 트리거된 검사 작업을 동시에 실행할 수 없으며 대부분의 작업은 대기열에 들어가 대기합니다.
따라서 대부분의 검사 작업은 T 시점에 트리거되도록 예약되었지만 실제로는 T + Δt 시점에 실행되는 상황을 겪습니다.
실제 실행 시간을 조회 종료 시간으로 직접 사용하면 검사 시간 범위에 중복이나 간격이 발생합니다. 예:
검사 시간 범위가 5분이라고 가정합니다:
| 동작 | 시간 | 실제 조회 데이터 범위 |
|---|---|---|
| 1. 실제 실행 | 00:05:10 |
00:00:10 ~ 00:05:10 |
| 2. 실제 실행 | 00:10:05 |
00:05:05 ~ 00:10:05 |
| 3. 실제 실행 | 00:15:30 |
00:10:30 ~ 00:15:30 |
이 경우:
- "동작 1"과 "동작 2"의 검사 범위는
00:05:05~00:05:10에서 중복됩니다. - "동작 2"와 "동작 3"의 검사 범위는
00:10:05~00:10:30에서 간격이 발생하여 이 시간대의 데이터가 포함되지 않습니다.
현재 해결 방안¶
작업 대기열로 인한 검사 범위 변동을 방지하기 위해 모니터의 데이터 조회 범위는 실제 실행 시간이 아닌 예약 트리거 시간을 기준으로 보정됩니다.
검사 시간 범위가 5분이라고 가정합니다:
| 동작 | 시간 | 최종 조회 데이터 범위 |
|---|---|---|
| 모니터가 검사 트리거(큐에 추가) | 00:05:00 |
|
| 모니터 실제 실행(큐에서 제거) | 00:05:10 |
00:00:00 ~ 00:05:00 |
| 모니터가 검사 트리거(큐에 추가) | 00:10:00 |
|
| 모니터 실제 실행(큐에서 제거) | 00:10:30 |
00:05:00 ~ 00:10:00 |
따라서 검사 작업이 얼마나 오래 대기하더라도 데이터 조회 범위는 항상 예약 트리거 시간을 기반으로 하므로 시간 창의 연속성과 안정성이 보장됩니다.
주의
위 예시는 "검사 범위 보정" 원리를 설명하기 위한 것일 뿐이며, 실제 범위는 "검사 범위 드리프트" 메커니즘의 영향을 받습니다.
검사 범위 드리프트¶
네트워크 지연, 데이터 처리 등의 영향으로 데이터는 보고된 후 일반적으로 수 초에서 수십 초가 지나야 저장이 완료됩니다(즉, DQL로 조회 가능). 이 기간 동안 모니터 검사에서는 이러한 "전송 중" 데이터를 조회할 수 없습니다.
이로 인해 고정된 시간 범위로 검사할 때 데이터 누락이 발생하기 쉽습니다. 예:
검사 시간 범위가 5분이라고 가정합니다:
| 동작 | 시간 | 검사 범위 |
|---|---|---|
| 데이터 A 보고(아직 저장되지 않음) | 00:09:59 |
|
| 모니터가 검사 트리거 | 00:10:00 |
00:05:00 ~ 00:10:00 |
| 데이터 A 저장 완료 | 00:10:05(데이터 타임스탬프는 00:09:59) |
|
| 모니터가 검사 트리거 | 00:15:00 |
00:10:00 ~ 00:15:00 |
데이터 A는 두 번째 검사 실행 전에 이미 보고되었지만 첫 번째 검사 시점에 저장되지 않아 누락되었습니다. 저장이 완료된 후에는 타임스탬프가 이르기 때문에 이후 검사의 시간 범위에 포함되지 않아 계속 검출되지 않습니다.
현재 해결 방안¶
이 문제를 해결하기 위해 모든 모니터는 검사 실행 시 데이터 조회 범위를 자동으로 과거 방향으로 1분 드리프트하여 데이터 저장 기간의 공백을 피합니다.
이 방안을 적용하면 위 예시는 다음과 같이 바뀝니다:
검사 시간 범위가 5분이라고 가정합니다:
| 동작 | 시간 | 검사 범위 |
|---|---|---|
| 데이터 A 보고(아직 저장되지 않음) | 00:09:59 |
|
| 모니터가 검사 트리거 | 00:10:00 |
00:04:00 ~ 00:09:00(1분 드리프트) |
| 데이터 A 저장 완료 | 00:10:05(데이터 타임스탬프는 00:09:59) |
|
| 모니터가 검사 트리거 | 00:15:00 |
00:09:00 ~ 00:14:00(1분 드리프트) |
00:10:00 검사에서 데이터 A가 누락되었지만, 해당 타임스탬프 00:09:59가 00:15:00 검사의 범위(00:09:00 ~ 00:14:00)에 포함되므로 두 번째 검사에서 성공적으로 포착될 수 있습니다.
주의
데이터 저장 지연이 1분을 초과하면 이 방안은 효과가 없으며, 검사가 예상한 효과를 달성하지 못할 수 있습니다.
데이터 공백 판단 로직¶
Guance는 시계열 데이터 플랫폼으로서 기존 자산 관리 소프트웨어의 "자산 총괄표" 개념을 갖지 않습니다. 시스템은 조회된 데이터를 기반으로 무엇이 "존재"하는지만 판단할 수 있으며, "존재해야 하지만 현재 존재하지 않는" 객체는 알 수 없습니다.
예를 들어:
상자 안에 연필과 지우개가 있다는 것은 알려져 있습니다. 우리는 "상자 안에 연필과 지우개가 있다"라고 명확히 말할 수 있지만, 상자에 "원래 있어야 할" 물건이 무엇인지 알지 못하므로 "상자 안에 펜이 없다"라고 단정할 수는 없습니다.
데이터 공백 감지는 과거 조회에서 이미 식별된 객체를 기반으로 하며, 이번 조회 결과와 구성된 공백 지속 시간을 결합하여 판단합니다. 다음 두 라운드 비교는 데이터 상태 변화를 설명하기 위한 것입니다.
이전 검사 라운드에서 객체 X가 존재하는 것을 발견했지만 이번 검사에서 객체 X가 사라진 경우 데이터 없음 판단으로 전환되며, 구성된 공백 지속 시간을 충족하면 X에 데이터 공백이 발생한 것으로 판정합니다.
검사 시간 범위가 5분이라고 가정합니다:
00:00:00 ~ 00:05:00 결과 |
00:05:00 ~ 00:10:00 결과 |
판정 결과 |
|---|---|---|
| 데이터 감지됨 | 데이터 감지되지 않음 | 데이터 공백 |
| 데이터 감지됨 | 데이터 감지됨 | 정상 지속 |
| 데이터 감지되지 않음 | 데이터 감지됨 | 데이터 재보고 |
| 데이터 감지되지 않음 | 데이터 감지되지 않음 | 식별된 객체의 데이터 없음이 지속되며, 공백 조건 충족 시 설정에 따라 계속 처리 |
주의
위 예시는 핵심 로직을 설명하기 위한 것일 뿐입니다. 실제 판단은 "검사 범위 드리프트", "검사 시간 범위" 및 "N분 연속 데이터 없음 시 알림" 등의 설정에도 영향을 받습니다.
데이터 공백 / 데이터 복구 이벤트¶
모니터가 "데이터 공백" 또는 "데이터 재보고"가 발생했다고 판정하면 사용자 구성에 따라 "데이터 공백 이벤트" 또는 "데이터 공백 복구 이벤트"를 생성할지 결정합니다.
데이터 공백 이벤트 트리거를 선택하면 시스템은 이벤트를 생성하기 전에 기존 이벤트 상태를 참고하여 결정합니다:
| 기존 이벤트 상태 | 이번 검사 판정 결과 | 시스템 동작 |
|---|---|---|
| 이벤트 없음 / 데이터 공백 복구 이벤트 | 데이터 공백 | 데이터 공백 이벤트 생성 |
| 이벤트 없음 / 데이터 공백 이벤트 | 데이터 재보고 | 데이터 공백 복구 이벤트 생성 |
동일 객체의 각 공백 라운드에서는 데이터 공백 이벤트가 한 번만 생성되며, 복구된 후 다시 공백이 발생하면 새로 생성할 수 있습니다.
데이터 공백 이벤트 지속 트리거를 선택하면 동일 객체가 검사할 때마다 여전히 공백 조건을 충족하는 경우 데이터가 복구될 때까지 매번 데이터 공백 이벤트가 생성됩니다. 공백 지속 시간은 언제 트리거를 시작할지 제어하고, 검사 빈도는 지속 이벤트의 생성 주기를 제어합니다. 복구 처리는 기존 로직을 따릅니다.
두 방식 모두 데이터 공백에서 구성합니다. 이벤트가 생성된 후 알림 전송은 알림 정책 및 음소거 규칙을 따릅니다.
자주 묻는 질문¶
이벤트에 표시된 시간과 이벤트 생성 시간이 일치하지 않는 경우
이벤트 상세 또는 알림 메시지에서 볼 수 있는 시간(예: 00:15:00)은 모니터의 예약 트리거 시간(즉, Crontab 표현식 기반의 정규화된 시간)이며, 시스템에서 이벤트가 실제 생성된 시간이 아닙니다.
예외: 모니터 목록에서 수동으로 "실행"을 클릭하면 생성되는 이벤트 시간은 실제로 실행을 클릭한 시간이 됩니다.
이벤트에 표시된 시간과 실제 장애 발생 시간이 일치하지 않는 경우
이벤트에 표시된 시간은 모니터의 예약 트리거 시간이며, "검사 범위 드리프트" 메커니즘으로 인해 실제 검사 데이터 범위는 예약 트리거 시간 - 검사 범위 - 드리프트 시간부터 예약 트리거 시간 - 드리프트 시간까지입니다.
따라서 실제 장애가 발생한 데이터 포인트의 시간은 예약 트리거 시간 - 검사 범위부터 예약 트리거 시간까지의 직관적인 구간에 포함되지 않을 가능성이 높습니다. 이는 정상적인 현상입니다.
플랫폼에서 직접 조회할 때 장애로 의심되는 데이터를 발견했지만 모니터가 알림을 생성하지 않은 경우
이 문제는 일반적으로 다음과 같은 원인으로 발생합니다:
- 데이터 저장 지연이 너무 큼: 검사 실행 시 장애 데이터가 지연으로 인해 아직 조회 가능하지 않습니다.
- DQL 쿼리 실행 실패: 검사 과정이 쿼리 실패로 인해 중단됩니다.
이러한 상황은 일반적으로 데이터 파이프라인 또는 쿼리 엔진의 문제에서 비롯되며, 모니터 자체의 제어 범위를 벗어납니다.