온콜¶

온콜 기능은 팀이 7×24시간 장애 대응 체계를 구축하여 모든 장애에 명확한 담당자가 지정되고, 설정된 시간 내에 처리되지 않으면 자동으로 에스컬레이션되어 "알림이 반드시 전달되도록" 보장합니다.

핵심 개념¶

온콜 규칙¶

온콜 규칙은 누가, 언제, 어떤 유형의 장애를 담당할지 정의합니다. 각 규칙에는 다음 요소가 포함됩니다.

• 온콜 담당자: 멤버, 팀 또는 알림 대상
• 근무 시간: 온콜이 적용되는 시간대(시간대 설정 지원)
• 적용 기간: 일정 규칙의 유효 기간
• 일치 태그/차원: 어떤 장애가 이 규칙으로 라우팅될지 결정
• 에스컬레이션 정책: 시간 내 미처리 시 알림을 에스컬레이션하는 규칙

에스컬레이션 정책¶

에스컬레이션 정책은 온콜 규칙에 추가되는 다단계 알림 메커니즘입니다. 장애가 지정된 시간 내에 인계되거나 해결되지 않으면 시스템이 미리 설정된 단계에 따라 알림 범위를 점차 확대하여 장애가 누락되지 않도록 합니다.

에스컬레이션 정책 Level 0 규칙은 "현재 온콜 담당자"를 선택할 수 있으며, 이는 온콜 정책에서 교대가 활성화된 경우 현재 시점에 실제로 적용되는 온콜 담당자를 가리킵니다.

일치 태그 로직¶

장애는 가지고 있는 태그에 따라 자동으로 온콜 규칙과 매칭됩니다. 일치 규칙은 다음을 지원합니다.

• AND: 여러 태그가 모두 충족되어야 함(전체 일치)
• OR: 여러 태그 중 하나만 충족되면 됨(부분 일치)
• 와일드카드: key:value*는 접두사 일치를 지원

예시:

장애 태그: {service:payment, env:prod, team:backend}

• 온콜 규칙 A: 태그 service:payment AND env:prod → 일치 ✓
• 온콜 규칙 B: 태그 team:frontend → 불일치 ✗
• 온콜 규칙 C: 태그 없음(전역) → 일치 ✓(폴백)

온콜 개요¶

온콜 페이지에 들어가면 기본적으로 카드 보기로 온콜 규칙이 표시됩니다. 페이지 상단에는 현재 온콜 상태가 표시되며, 현재 온콜 중인 규칙 이름, 종료 시간 및 남은 시간이 포함됩니다.

"전체/내것"을 통해 빠르게 보기 범위를 전환하여 모든 온콜 규칙 또는 자신이 참여한 온콜만 표시할 수 있습니다. 필터링 결과 오른쪽에는 현재 목록 개수가 표시되며, 검색 상자를 통해 온콜 이름으로 검색할 수도 있습니다. 현재 온콜 중인 경우 해당 규칙이 상단에 고정되어 표시되고 "온콜" 태그로 식별됩니다.

카드 보기¶

온콜 규칙을 카드 형태로 표시하며, 각 카드에는 온콜 이름, 현재 온콜 담당자, 다음 온콜 담당자, 일치 차원 및 바인딩된 에스컬레이션 정책이 포함됩니다. 온콜 카드를 클릭하면 해당 온콜의 상세 설정 페이지로 이동합니다.

달력 보기¶

"달력"을 클릭하면 달력 보기로 전환되며, 현재 필터 및 검색 조건은 유지됩니다.

• 왼쪽에는 현재 필터 범위 내의 온콜 목록이 표시되며, 달력에 표시할 온콜 규칙을 선택할 수 있습니다.
• 오른쪽은 월별 달력 보기로, 월 전환, 오늘로 돌아가기 및 시간대 전환을 지원합니다.

달력은 일별로 온콜 일정을 표시하며, 각 온콜 담당자가 별도 행으로 표시되어 담당자 이름과 시작 시간을 보여줍니다. 클릭하면 전체 행이 확장되어 전체 정보가 표시됩니다. 온콜 담당자 이름 위에 마우스를 올리면 해당 온콜의 상세 정보를 볼 수 있습니다.

시스템 내장 "기본 온콜"은 항상 온콜 목록에 표시되며 삭제하거나 숨길 수 없습니다. 달력에서 온콜 담당자 이름을 클릭하면 해당 온콜의 상세 정보를 볼 수 있으며, 연결된 온콜 규칙, 에스컬레이션 정책 및 구체적인 온콜 시간대가 포함됩니다. 왼쪽 상단에서 시간대와 날짜를 전환하여 과거 또는 미래의 일정을 확인할 수 있습니다.

온콜 관리¶

"온콜 관리" 페이지는 모든 온콜 규칙을 목록 형태로 집중적으로 표시하며, 각 규칙은 온콜 시간대, 실행 주기, 온콜 담당자, 일치 태그 및 에스컬레이션 정책 등의 주요 정보를 나열합니다. 목록에는 시스템 기본 온콜과 사용자 정의 온콜 규칙이 포함되며, 항목을 클릭하면 상세 설정 페이지로 이동합니다.

장애 알림이 정확하게 전달되고 책임이 완결되도록 보장하려면 온콜 정책 구성의 핵심은 다음 두 가지 보호 계층을 구축하는 것입니다.

1. "누가 언제 담당하는지" 명확히 하기: 온콜 담당자, 적용 시간대 설정 및 알림 교대 활성화(일별, 주별 등 주기로 자동 인계 지원)를 통해 시스템은 명확한 일정과 자동 순환을 구현하여 언제든지 명확한 "1차 대응자"가 있도록 보장합니다.

2. 에스컬레이션 경로 미리 설정("무응답 시 보고 방법"): 에스컬레이션 정책 구성을 통해 "T+N분" 단계별 알림 타임라인을 구축합니다. 장애가 설정된 시간 내에 처리되지 않으면 시스템은 이 규칙에 따라 자동으로 다른 계층의 멤버나 더 넓은 팀에 알림을 보내 중요한 장애가 반드시 전달되도록 합니다.

온콜 규칙 생성¶

온콜 규칙을 생성하려면 다음 설정 단계를 완료해야 합니다.

기본 정보¶

1. 온콜 이름 입력
2. 온콜 기준 시간대 선택

3. 근무 시간 구성: 온콜이 적용되는 시간대 정의

   • 하루 종일: 24시간 적용
   • 지정 시간: 요일 및 시작/종료 시간별로 여러 시간대 구성, 최종 유효 시간은 합집합

4. 적용 기간 구성: 일정 규칙의 유효 기간 정의

   • 장기 적용: 종료 시간 제한 없음
   • 지정 날짜: 시작 날짜와 종료 날짜 구성, 시작 날짜는 오늘 이후여야 함

일치 태그/차원(선택 사항)¶

이 부분은 어떤 장애가 이 규칙에 의해 처리될지 결정합니다. 태그/차원을 추가하지 않으면 해당 규칙은 전역 일치가 됩니다.

1. 일치 태그:

   • 드롭다운 목록에서 기존 태그 선택
   • 새 태그를 직접 입력하여 빠르게 생성하거나 "전역 태그"로 이동하여 관리 가능

2. 일치 차원:

   • 감지 차원(예: service, host) 선택 및 구체적인 일치 값 설정
   • 논리 관계 지원: AND(전체 일치, 모든 조건 충족 필요) 또는 OR(부분 일치, 하나의 조건만 충족하면 됨), 기본값은 AND
   • 값은 와일드카드 지원, 형식: key:value*, 예: service:auth*는 auth-api, auth-service 등과 일치 가능

온콜 담당자 설정¶

1. 온콜 담당자 선택: 한 명 또는 여러 명의 멤버, 또는 전체 팀 선택 가능

2. 교대 활성화: 교대 온콜이 필요한 경우 교대 기능 활성화. 교대 주기 설정(예: 매일, 매주, 매월), 시스템은 멤버 목록 순서에 따라 자동으로 순환 일정을 생성하며, 오른쪽 달력에서 일정 효과를 직관적으로 확인 가능

   • 사용자 지정 교대 주기: 1–31일 또는 1–4주 입력 가능, 시스템은 근무 시간에 따라 실제 교대 효과를 자동 계산. 예를 들어 근무 시간이 월요일~금요일로 설정되고 4일마다 교대하는 경우 실제 효과는 월요일~목요일 A 담당, 금요일 및 다음 주 월요일~수요일 B 담당

3. 자동 인계: 활성화 시 장애가 한 명의 온콜 담당자만 일치하는 경우 해당 멤버가 자동으로 장애 처리자로 지정되고 장애 상태가 "처리 중"으로 업데이트됩니다. 에스컬레이션 정책 Level 0의 알림은 정상적으로 전송됩니다.

교대 예시:

• 교대 활성화 전:

• 교대 활성화 후:

임시 대리 근무¶

특정 시간대에 임시로 온콜 담당자를 조정하는 데 사용됩니다.

1. 대리자와 피대리자 선택(모두 단일 선택) 및 대리 근무 시작 및 종료 시간 지정
2. 오른쪽 달력에서 대리 근무 효과를 실시간 미리보기, 상단에 대리자, 피대리자, 대리 근무 시작/종료 시간 및 지속 시간 표시
3. 대리 근무 생성 후 피대리자는 해당 시간대에 장애 알림을 더 이상 수신하지 않으며, 대리자가 대신 수신
4. 달력에서 적용된 대리 근무는 해당 날짜에 직접 표시되고, 원래 온콜 담당자 이름은 취소선으로 표시됨. 대리 근무 모듈을 클릭하면 상세 정보 레이어 확인 가능(대리자, 피대리자, 시작/종료 시간 포함), "대리 근무 조정" 또는 삭제 지원
5. 대리 근무 적용 후 시스템은 대리자에게 이메일 알림을 전송함. 대리 근무 삭제 적용 후 시스템은 피대리자에게 이메일 알림을 전송함

에스컬레이션 정책 구성¶

에스컬레이션 정책은 장애가 시간 초과로 처리되지 않을 때 자동으로 알림 범위를 더 많은 사람이나 더 높은 수준으로 확대합니다(❗️에스컬레이션 정책은 온콜 규칙의 핵심이므로 구성을 적극 권장합니다).

타임라인 메커니즘(T+N)¶

모든 시점의 계산은 장애 발생 시점을 기준으로 합니다(T=0으로 표기). 시스템은 미리 설정된 시간 간격에 따라 각 수준의 알림을 순차적으로 트리거합니다.

수준 구성 설명¶

1. Level 0(시작 알림)(필수)

• 트리거 시점: 장애 발생 시 즉시 알림(T=0)
• 알림 대상: 기본값으로 현재 온콜 담당자(온콜 규칙에서 현재 적용되는 온콜 담당자)가 입력되며, 추가로 다른 사람이나 팀을 추가할 수 있음
• 알림 방식: 각 알림 대상별로 개별 선택(이메일, SMS, 전화, 다중 선택 가능)

2. Level 1~10(에스컬레이션 수준)(선택 사항)

• 트리거 조건: 다음 조건을 모두 충족해야 해당 수준이 트리거됨

  • 장애 지속 시간이 설정된 대기 시간에 도달함(예: T+20분)
  • 장애 등급이 지정된 범위 내에 있음(예: P0, P1에만 적용)
  • 장애 상태가 지정된 값임(예: Open 또는 Working)

• 알림 대상: 해당 수준에 구성된 사람 또는 팀에만 알림, Level 0에 구성된 사람에게는 알림하지 않음

• 알림 방식: 새로 추가된 사람에 대해 알림 방식 개별 설정

반복 알림 메커니즘¶

각 수준 내에서 반복 알림을 활성화할지 선택할 수 있습니다.

• 반복 알림 비활성화: 해당 수준은 한 번만 알림을 보내고 다음 수준으로 넘어감
• 반복 알림 활성화: 설정된 빈도(예: 5분마다)에 따라 주기적으로 알림을 보내며, 장애 상태가 변경되거나 다음 수준으로 넘어갈 때까지 지속

예시:

• Level 1 대기 시간: 30분
• 반복 간격: 5분
• 최종 효과: T+5, T+10, T+15, T+20, T+25, T+30분에 각각 알림 한 번씩 전송

온콜 교차 인계 처리¶

장애 지속 시간이 온콜 인계 시간을 초과하는 경우, 이후의 에스컬레이션 알림은 새 온콜 담당자에게 전달되며 새 온콜 담당자의 에스컬레이션 정책에 따라 실행됩니다.

예시:

• 장애가 23:55에 발생, 이때 온콜 담당자는 A
• 에스컬레이션 정책에서 Level 1의 대기 시간은 15분, 5분마다 반복하도록 구성
• 첫 번째 반복 알림은 장애 발생 후 5분(0:00)에 트리거되며, 이때 온콜 담당자는 B로 변경됨. 따라서 해당 알림은 B에게 전송되고, 이후의 에스컬레이션 알림(나머지 반복 및 다음 수준 포함)은 모두 B의 에스컬레이션 정책에 따라 실행됨

날짜가 변경된 후 시스템은 새 온콜 담당자 B의 에스컬레이션 규칙에 따라 해당 장애를 계속 처리합니다.

다중 에스컬레이션 정책 중복 제거¶

동일한 장애가 여러 온콜 규칙(따라서 여러 에스컬레이션 정책)과 동시에 일치하는 경우, 시스템은 자동으로 알림 중복을 제거하여 동일한 사용자가 중복 알림을 받지 않도록 합니다. 중복 제거 로직은 사용자, 장애 및 알림 콘텐츠를 기준으로 합니다.

에스컬레이션 정책 구성 예시¶

시나리오: 핵심 서비스 P0 장애의 에스컬레이션 정책

이 예시에서:

• 장애 발생 시, 현재 온콜 담당자 A에게 즉시 알림
• 5분 후 장애가 처리되지 않으면, 온콜 팀장 B에게 추가 알림(이때 알림 대상은 A + B)
• 15분 후에도 처리되지 않으면, 부서장 C에게 추가 알림(알림 대상 A + B + C)
• 30분 후에도 여전히 처리되지 않으면, CTO D에게 추가 알림, Level 3은 반복 알림이 활성화됨(예: 10분마다), 누군가 응답할 때까지 지속

알림 방식 설명¶

시스템은 세 가지 알림 채널을 지원하며, 각 알림 대상에 대해 개별적으로 선택할 수 있습니다.

기본 온콜¶

시스템에는 "기본 온콜"이 내장되어 있습니다. 이는 단순화된 온콜 규칙으로, 간단한 시나리오에 적합합니다. 특징은 다음과 같습니다.

• 온콜 담당자, 온콜 담당자 교대 및 에스컬레이션 정책만 구성 가능
• 구성 불가능 항목: 시간대(고정되어 비어 있음, 시스템 시간대 따름), 일치 태그/차원(설정 불가, 기본값 전역 일치)
• 기본 온콜은 항상 온콜 목록에 표시되며 삭제할 수 없음

규칙 제한¶

1. 하나의 온콜 규칙은 최대 10개의 에스컬레이션 수준을 설정할 수 있습니다(Level 0 + Level 1~10)
2. 단일 대기 시간 최대 360분(6시간), 초과 시 저장 불가
3. 상위 수준의 장애 등급 및 상태 범위는 하위 수준에서 이미 선택한 범위의 하위 집합이어야 합니다.

다음 단계¶

온콜 규칙을 구성한 후에는 장애 목록에서 장애에 자동으로 연결된 온콜 정보를 확인할 수 있습니다. 장애가 발생하면 시스템은 설정한 규칙에 따라 해당 담당자에게 자동으로 알림을 보내고, 시간 초과 후 에스컬레이션 정책을 실행하여 모든 장애가 적시에 대응되도록 합니다.