AWS MSK¶
Amazon Managed Streaming for Apache Kafka（Amazon MSK）는 Apache Kafka를 사용해 스트리밍 데이터를 처리하는 애플리케이션을 구축하고 실행할 수 있게 해 주는 완전 관리형 서비스입니다.
스크립트 마켓의 “Guance 클라우드 동기화” 시리즈 스크립트 패키지를 사용해 클라우드 모니터링 및 클라우드 자산 데이터를 Guance로 동기화
설정¶
Func 설치¶
Guance 통합 - 확장 - 관리형 Func 활성화를 권장합니다. 사전 조건은 모두 자동으로 설치되므로, 스크립트 설치를 계속 진행하세요.
Func를 직접 배포하는 경우 Func 직접 배포를 참고하세요
스크립트 설치¶
안내: 요구 사항을 충족하는 Amazon AK를 미리 준비하세요. (간단히 하려면 전역 읽기 전용 권한
ReadOnlyAccess를 직접 부여해도 됩니다)
관리형 버전 스크립트 활성화¶
- Guance 콘솔에 로그인
- [통합] 메뉴를 클릭하고 [클라우드 계정 관리]를 선택
- [클라우드 계정 추가]를 클릭하고 [AWS]를 선택한 뒤 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 이미 설정했다면 이 단계는 건너뜁니다.
- [테스트]를 클릭합니다. 테스트가 성공하면 [저장]을 클릭하세요. 테스트가 실패하면 관련 설정이 올바른지 확인한 뒤 다시 테스트하세요.
- [클라우드 계정 관리] 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭해 상세 페이지로 들어갑니다.
- 클라우드 계정 상세 페이지의 [통합] 버튼을 클릭한 뒤
설치 안 됨목록에서AWS MSK를 찾아 [설치] 버튼을 클릭하고, 설치 화면에서 설치하면 됩니다.
수동 활성화 스크립트¶
-
Func 콘솔에 로그인한 뒤 [스크립트 마켓]을 클릭하여 Guance 스크립트 마켓으로 들어가
integration_aws_kafka를 검색합니다. -
[설치]를 클릭한 뒤 AWS AK ID, AK Secret 및 계정명을 입력합니다.
-
[배포 시작 스크립트]를 클릭하면 시스템이 자동으로
Startup스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다. -
활성화 후에는 “관리 / 자동 트리거 설정”에서 해당 자동 트리거 설정을 확인할 수 있습니다. [실행]을 클릭하면 정기 실행을 기다릴 필요 없이 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다.
확인¶
- “관리 / 자동 트리거 설정”에서 해당 작업이 자동 트리거 설정으로 존재하는지 확인하고, 작업 기록과 로그를 확인해 이상이 있는지 점검합니다.
- Guance의 “인프라 / 사용자 정의”에서 자산 정보가 있는지 확인합니다.
- Guance의 “지표”에서 해당 모니터링 데이터가 있는지 확인합니다.
지표¶
Amazon CloudWatch를 설정하면 기본 지표 세트는 다음과 같습니다. 설정을 통해 더 많은 지표를 수집할 수 있습니다. Amazon CloudWatch 지표 상세 정보
DEFAULT 수준 모니터링¶
아래 표에 설명된 지표는 DEFAULT 모니터링 수준에서 사용할 수 있습니다. 이 지표들은 무료입니다.
DEFAULT 모니터링 수준에서 사용할 수 있는 지표 |
|||
|---|---|---|---|
| 이름 | 표시 조건 | Dimensions | 설명 |
ActiveControllerCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름 | 어떤 시점에서든 각 클러스터에는 하나의 컨트롤러만 활성 상태일 수 있습니다. |
BurstBalance |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 클러스터의 EBS 볼륨에 대한 입출력 버스트 크레딧의 잔여량입니다. 지연 또는 처리량 감소를 조사할 때 사용합니다. BurstBalance는 볼륨의 기준 성능이 최대 버스트 성능보다 높을 때는 보고되지 않습니다. 자세한 내용은 I/O 크레딧 및 버스트 성능를 참고하세요. |
BytesInPerSec |
토픽 생성 후. | 클러스터 이름, 브로커 ID, 토픽 | 클라이언트로부터 초당 수신된 바이트 수입니다. 이 지표는 각 브로커와 각 토픽 단위로도 적용됩니다. |
BytesOutPerSec |
토픽 생성 후. | 클러스터 이름, 브로커 ID, 토픽 | 클라이언트로 전송된 초당 바이트 수입니다. 이 지표는 각 브로커와 각 토픽 단위로도 적용됩니다. |
ClientConnectionCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID, 클라이언트 인증 | 인증된 활성 클라이언트 연결 수입니다. |
ConnectionCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 인증된 활성 연결, 인증되지 않은 연결, 브로커 간 연결의 수입니다. |
CPUCreditBalance |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 이 지표는 브로커의 CPU 크레딧 잔액을 모니터링하는 데 도움이 됩니다. CPU 사용률이 기준 활용률 20%를 지속적으로 초과하면 CPU 크레딧 잔액이 소진될 수 있으며, 이로 인해 클러스터 성능에 부정적인 영향을 줄 수 있습니다. CPU 부하를 줄이기 위한 조치를 취할 수 있습니다. 예를 들어 클라이언트 요청 수를 줄이거나 브로커 유형을 M5 브로커 유형으로 업데이트할 수 있습니다. |
CpuIdle |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | CPU 유휴 시간 비율입니다. |
CpuIoWait |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 대기 중인 디스크 작업 동안의 CPU 유휴 시간 비율입니다. |
CpuSystem |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 커널 공간의 CPU 비율입니다. |
CpuUser |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 사용자 공간의 CPU 비율입니다. |
GlobalPartitionCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름 | 클러스터의 모든 토픽에서 복제본을 제외한 파티션 수입니다. GlobalPartitionCount는 복제본을 포함하지 않으므로, 토픽의 복제 계수가 1보다 큰 경우 PartitionCount 값의 합이 GlobalPartitionCount보다 클 수 있습니다. |
GlobalTopicCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름 | 클러스터의 모든 브로커에 걸친 토픽 총 수입니다. |
EstimatedMaxTimeLag |
컨슈머 그룹이 토픽을 소비한 후. | 컨슈머 그룹, 토픽 | MaxOffsetLag가 소진될 것으로 추정되는 시간(초)입니다. |
KafkaAppLogsDiskUsed |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 애플리케이션 로그에 사용되는 디스크 공간의 비율입니다. |
KafkaDataLogsDiskUsed（Cluster Name, Broker ID 차원） |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 데이터 로그에 사용되는 디스크 공간의 비율입니다. |
KafkaDataLogsDiskUsed（Cluster Name 차원） |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름 | 데이터 로그에 사용되는 디스크 공간의 비율입니다. |
LeaderCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 복제본을 제외한 각 브로커의 파티션 리더 총 수입니다. |
MaxOffsetLag |
컨슈머 그룹이 토픽을 소비한 후. | 컨슈머 그룹, 토픽 | 토픽의 모든 파티션에 대한 최대 오프셋 지연입니다. |
MemoryBuffered |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 버퍼 메모리 크기(바이트)입니다. |
MemoryCached |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 캐시된 메모리 크기(바이트)입니다. |
MemoryFree |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커에서 사용할 수 있는 가용 메모리 크기(바이트)입니다. |
HeapMemoryAfterGC |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 가비지 컬렉션 후 사용된 힙 메모리가 전체 힙 메모리에서 차지하는 비율입니다. |
MemoryUsed |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커가 사용 중인 메모리 크기(바이트)입니다. |
MessagesInPerSec |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 초당 유입 메시지 수입니다. |
NetworkRxDropped |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 드롭된 수신 패킷 수입니다. |
NetworkRxErrors |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 네트워크 수신 오류 수입니다. |
NetworkRxPackets |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커가 수신한 패킷 수입니다. |
NetworkTxDropped |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 드롭된 전송 패킷 수입니다. |
NetworkTxErrors |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 네트워크 전송 오류 수입니다. |
NetworkTxPackets |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커가 전송한 패킷 수입니다. |
OfflinePartitionsCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름 | 클러스터에서 오프라인 상태인 파티션의 총 수입니다. |
PartitionCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 복제본을 포함한 각 브로커의 토픽 파티션 총 수입니다. |
ProduceTotalTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 평균 생성 시간(밀리초)입니다. |
RequestBytesMean |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 요청 바이트 평균 수입니다. |
RequestTime |
요청 제한이 적용된 후. | 클러스터 이름, 브로커 ID | 브로커 네트워크 및 I/O 스레드가 요청을 처리하는 데 걸리는 평균 시간(밀리초)입니다. |
RootDiskUsed |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커가 사용 중인 루트 디스크의 비율입니다. |
SumOffsetLag |
컨슈머 그룹이 토픽을 소비한 후. | 컨슈머 그룹, 토픽 | 토픽의 모든 파티션에 대한 누적 오프셋 지연입니다. |
SwapFree |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커에서 사용할 수 있는 스왑 메모리 크기(바이트)입니다. |
SwapUsed |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커가 사용 중인 스왑 메모리 크기(바이트)입니다. |
TrafficShaping |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 네트워크 할당을 초과해 형성된(드롭되거나 대기열에 들어간) 패킷 수를 나타내는 고급 지표입니다. PER_BROKER 지표는 더 자세한 정보를 제공합니다. |
UnderMinIsrPartitionCount |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 완전히 관리되지 않은 파티션 수입니다. |
UnderReplicatedPartitions |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커의 완전히 복제되지 않은 파티션 수입니다. |
ZooKeeperRequestLatencyMsMean |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커에서 발생한 Apache ZooKeeper 요청의 평균 지연 시간(밀리초)입니다. |
ZooKeeperSessionState |
클러스터가 ACTIVE 상태가 된 후. | 클러스터 이름, 브로커 ID | 브로커 ZooKeeper 세션의 연결 상태는 다음 중 하나일 수 있습니다: NOT_CONNECTED: '0.0', ASSOCIATING: '0.1', CONNECTING: '0.5', CONNECTEDREADONLY: '0.8', CONNECTED: '1.0', CLOSED: '5.0', AUTH_FAILED: '10.0'. |
PER_BROKER 수준 모니터링¶
모니터링 수준을 PER_BROKER로 설정하면 DEFAULT 수준의 모든 지표 외에도 아래 표에 설명된 지표를 추가로 사용할 수 있습니다. 아래 표의 지표는 요금이 부과되며, DEFAULT 수준 지표는 여전히 무료입니다. 이 표의 지표는 다음 차원을 가집니다: 클러스터 이름, 브로커 ID.
PER_BROKER 모니터링 수준에서 추가로 제공되는 지표 |
||
|---|---|---|
| 이름 | 표시 조건 | 설명 |
BwInAllowanceExceeded |
클러스터가 ACTIVE 상태가 된 후. | 인바운드 집계 대역폭이 브로커의 최대 대역폭을 초과해 형성된 패킷 수입니다. |
BwOutAllowanceExceeded |
클러스터가 ACTIVE 상태가 된 후. | 아웃바운드 집계 대역폭이 브로커의 최대 대역폭을 초과해 형성된 패킷 수입니다. |
ConnTrackAllowanceExceeded |
클러스터가 ACTIVE 상태가 된 후. | 연결 추적이 브로커의 최대값을 초과해 형성된 패킷 수입니다. 연결 추적은 보안 그룹과 관련되어 있으며, 보안 그룹은 설정된 각 연결을 추적하여 반환 패킷이 예상대로 전달되는지 확인합니다. |
ConnectionCloseRate |
클러스터가 ACTIVE 상태가 된 후. | 리스너당 초당 닫힌 연결 수입니다. 이 수치는 리스너별로 집계된 다음 클라이언트 리스너에 대해 필터링됩니다. |
ConnectionCreationRate |
클러스터가 ACTIVE 상태가 된 후. | 리스너당 초당 생성된 새 연결 수입니다. 이 수치는 리스너별로 집계된 다음 클라이언트 리스너에 대해 필터링됩니다. |
CpuCreditUsage |
클러스터가 ACTIVE 상태가 된 후. | 이 지표는 인스턴스의 CPU 크레딧 사용량을 모니터링하는 데 도움이 됩니다. CPU 사용률이 기준 수준 20%를 지속적으로 초과하면 CPU 크레딧 잔액이 소진될 수 있으며, 이로 인해 클러스터 성능에 부정적인 영향을 줄 수 있습니다. 이 지표를 모니터링하고 경보를 설정해 시정 조치를 취할 수 있습니다. |
FetchConsumerLocalTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 리더에서 컨슈머 요청을 처리하는 데 걸리는 평균 시간(밀리초)입니다. |
FetchConsumerRequestQueueTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 컨슈머 요청이 요청 큐에서 대기한 평균 시간(밀리초)입니다. |
FetchConsumerResponseQueueTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 컨슈머 요청이 응답 큐에서 대기한 평균 시간(밀리초)입니다. |
FetchConsumerResponseSendTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 컨슈머에게 응답을 보내는 데 걸린 평균 시간(밀리초)입니다. |
FetchConsumerTotalTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 컨슈머가 브로커에서 데이터를 가져오는 데 걸린 총 평균 시간(밀리초)입니다. |
FetchFollowerLocalTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 리더에서 팔로워 요청을 처리하는 데 걸리는 평균 시간(밀리초)입니다. |
FetchFollowerRequestQueueTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 팔로워 요청이 요청 큐에서 대기한 평균 시간(밀리초)입니다. |
FetchFollowerResponseQueueTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 팔로워 요청이 응답 큐에서 대기한 평균 시간(밀리초)입니다. |
FetchFollowerResponseSendTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 팔로워에게 응답을 보내는 데 걸린 평균 시간(밀리초)입니다. |
FetchFollowerTotalTimeMsMean |
프로듀서/컨슈머가 제공된 후. | 팔로워가 브로커에서 데이터를 가져오는 데 걸린 총 평균 시간(밀리초)입니다. |
FetchMessageConversionsPerSec |
토픽 생성 후. | 브로커가 초당 수행하는 가져오기 메시지 변환 횟수입니다. |
FetchThrottleByteRate |
대역폭 제한이 적용된 후. | 초당 제한되는 바이트 수입니다. |
FetchThrottleQueueSize |
대역폭 제한이 적용된 후. | 제한 큐의 메시지 수입니다. |
FetchThrottleTime |
대역폭 제한이 적용된 후. | 평균 가져오기 제한 시간(밀리초)입니다. |
NetworkProcessorAvgIdlePercent |
클러스터가 ACTIVE 상태가 된 후. | 네트워크 프로세서가 유휴 상태인 시간의 평균 비율입니다. |
PpsAllowanceExceeded |
클러스터가 ACTIVE 상태가 된 후. | 양방향 PPS가 브로커의 최대값을 초과해 형성된 패킷 수입니다. |
ProduceLocalTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 리더가 요청을 처리하는 평균 시간(밀리초)입니다. |
ProduceMessageConversionsPerSec |
토픽 생성 후. | 브로커가 초당 생성하는 메시지 변환 수입니다. |
ProduceMessageConversionsTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 메시지 형식 변환에 걸린 평균 시간(밀리초)입니다. |
ProduceRequestQueueTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 요청 메시지가 큐에서 대기한 평균 시간(밀리초)입니다. |
ProduceResponseQueueTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 응답 메시지가 큐에서 대기한 평균 시간(밀리초)입니다. |
ProduceResponseSendTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 응답 메시지를 보내는 데 걸린 평균 시간(밀리초)입니다. |
ProduceThrottleByteRate |
대역폭 제한이 적용된 후. | 초당 제한되는 바이트 수입니다. |
ProduceThrottleQueueSize |
대역폭 제한이 적용된 후. | 제한 큐의 메시지 수입니다. |
ProduceThrottleTime |
대역폭 제한이 적용된 후. | 평균 생성 제한 시간(밀리초)입니다. |
ProduceTotalTimeMsMean |
클러스터가 ACTIVE 상태가 된 후. | 평균 생성 시간(밀리초)입니다. |
RemoteBytesInPerSec |
프로듀서/컨슈머가 있는 경우. | 컨슈머 가져오기에 응답하기 위해 계층화 스토리지에서 전송된 총 바이트 수입니다. 이 지표에는 다운스트림 데이터 전송 트래픽에 영향을 주는 모든 토픽 파티션이 포함됩니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteBytesOutPerSec | 프로듀서/컨슈머가 있는 경우. | 로그 세그먼트, 인덱스 및 기타 보조 파일의 데이터를 포함하여 계층화 스토리지로 전송된 총 바이트 수입니다. 이 지표에는 업스트림 데이터 전송 트래픽에 영향을 주는 모든 토픽 파티션이 포함됩니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteLogManagerTasksAvgIdlePercent | 클러스터가 ACTIVE 상태가 된 후. | 원격 로그 관리자가 유휴 상태인 시간의 평균 비율입니다. 원격 로그 관리자는 데이터를 브로커에서 계층화 스토리지로 전송합니다. 범주: 내부 활동. 이 지표는 KIP-405 지표입니다. |
| RemoteLogReaderAvgIdlePercent | 클러스터가 ACTIVE 상태가 된 후. | 원격 로그 리더가 유휴 상태인 시간의 평균 비율입니다. 원격 로그 리더는 컨슈머 가져오기에 응답하기 위해 원격 스토리지에서 브로커로 데이터를 전송합니다. 범주: 내부 활동. 이 지표는 KIP-405 지표입니다. |
| RemoteLogReaderTaskQueueSize | 클러스터가 ACTIVE 상태가 된 후. | 계층화 스토리지에서 읽기를 수행하고 스케줄 대기 중인 작업 수입니다. 범주: 내부 활동. 이 지표는 KIP-405 지표입니다. |
| RemoteReadErrorPerSec | 클러스터가 ACTIVE 상태가 된 후. | 컨슈머 가져오기에 응답하기 위해 지정된 브로커가 데이터를 조회하도록 계층화 스토리지로 보낸 읽기 요청의 총 오류율입니다. 이 지표에는 다운스트림 데이터 전송 트래픽에 영향을 주는 모든 토픽 파티션이 포함됩니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteReadRequestsPerSec | 클러스터가 ACTIVE 상태가 된 후. | 컨슈머 가져오기에 응답하기 위해 지정된 브로커가 데이터를 조회하도록 계층화 스토리지로 보낸 읽기 요청의 총 수입니다. 이 지표에는 다운스트림 데이터 전송 트래픽에 영향을 주는 모든 토픽 파티션이 포함됩니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteWriteErrorPerSec | 클러스터가 ACTIVE 상태가 된 후. | 지정된 브로커가 업스트림 데이터 전송을 위해 계층화 스토리지로 보낸 쓰기 요청의 총 오류율입니다. 이 지표에는 업스트림 데이터 전송 트래픽에 영향을 주는 모든 토픽 파티션이 포함됩니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
ReplicationBytesInPerSec |
토픽 생성 후. | 다른 브로커로부터 초당 수신된 바이트 수입니다. |
ReplicationBytesOutPerSec |
토픽 생성 후. | 다른 브로커로 초당 전송된 바이트 수입니다. |
RequestExemptFromThrottleTime |
요청 제한이 적용된 후. | 브로커 네트워크 및 I/O 스레드가 제한에서 제외된 요청을 처리하는 데 걸린 평균 시간(밀리초)입니다. |
RequestHandlerAvgIdlePercent |
클러스터가 ACTIVE 상태가 된 후. | 요청 처리기 스레드가 유휴 상태인 시간의 평균 비율입니다. |
RequestThrottleQueueSize |
요청 제한이 적용된 후. | 제한 큐의 메시지 수입니다. |
RequestThrottleTime |
요청 제한이 적용된 후. | 평균 요청 제한 시간(밀리초)입니다. |
TcpConnections |
클러스터가 ACTIVE 상태가 된 후. | SYN 플래그가 설정된 인바운드 및 아웃바운드 TCP 세그먼트 수를 표시합니다. |
| TotalTierBytesLag | 토픽 생성 후. | 브로커에서 계층화 대상이지만 아직 계층화 스토리지로 전송되지 않은 데이터의 총 바이트 수입니다. 이 지표는 업스트림 데이터 전송의 효율성을 보여줍니다. 지연이 증가할수록 계층화 스토리지에 아직 없는 데이터의 양도 증가합니다. 범주: 아카이브 지연. 이 지표는 KIP-405 지표가 아닙니다. |
TrafficBytes |
클러스터가 ACTIVE 상태가 된 후. | 총 바이트 수 기준으로 클라이언트(프로듀서와 컨슈머)와 브로커 간의 네트워크 트래픽을 표시합니다. 브로커 간 트래픽은 보고되지 않습니다. |
VolumeQueueLength |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안 완료를 기다리는 읽기 및 쓰기 작업 요청 수입니다. |
VolumeReadBytes |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안 읽은 바이트 수입니다. |
VolumeReadOps |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안의 읽기 작업 수입니다. |
VolumeTotalReadTime |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안 완료된 모든 읽기 작업에 소요된 총 초 수입니다. |
VolumeTotalWriteTime |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안 완료된 모든 쓰기 작업에 소요된 총 초 수입니다. |
VolumeWriteBytes |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안 기록된 바이트 수입니다. |
VolumeWriteOps |
클러스터가 ACTIVE 상태가 된 후. | 지정된 기간 동안의 쓰기 작업 수입니다. |
PER_TOPIC_PER_BROKER 수준 모니터링¶
모니터링 수준을 PER_TOPIC_PER_BROKER로 설정하면 PER_BROKER 및 DEFAULT 수준의 모든 지표 외에도 아래 표에 설명된 지표를 추가로 사용할 수 있습니다. DEFAULT 수준 지표만 무료입니다. 이 표의 지표는 다음 차원을 가집니다: 클러스터 이름, 브로커 ID, 토픽.
중요: Apache Kafka 2.4.1 이상 버전을 사용하는 Amazon MSK 클러스터의 경우, 아래 표의 지표는 값이 처음으로 0이 아닌 값이 된 후에만 표시됩니다. 예를 들어 BytesInPerSec를 보려면 하나 이상의 프로듀서가 먼저 클러스터로 데이터를 보내야 합니다.
PER_TOPIC_PER_BROKER 모니터링 수준에서 추가로 제공되는 지표 |
||
|---|---|---|
| 이름 | 표시 조건 | 설명 |
FetchMessageConversionsPerSec |
토픽 생성 후. | 초당 변환된 가져오기 메시지 수입니다. |
MessagesInPerSec |
토픽 생성 후. | 초당 수신된 메시지 수입니다. |
ProduceMessageConversionsPerSec |
토픽 생성 후. | 생성된 메시지의 초당 변환 횟수입니다. |
| RemoteBytesInPerSec | 토픽을 생성한 뒤 해당 토픽이 생성/소비 중인 경우. | 지정된 토픽과 브로커에 대한 컨슈머 가져오기에 응답하기 위해 계층화 스토리지에서 전송된 바이트 수입니다. 이 지표에는 해당 토픽의 모든 파티션이 포함되며, 지정된 브로커의 상하류 데이터 전송 트래픽에 영향을 줍니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteBytesOutPerSec | 토픽을 생성한 뒤 해당 토픽이 생성/소비 중인 경우. | 지정된 토픽과 브로커에 대해 계층화 스토리지로 전송된 바이트 수입니다. 이 지표에는 해당 토픽의 모든 파티션이 포함되며, 지정된 브로커의 업스트림 데이터 전송 트래픽에 영향을 줍니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteReadErrorPerSec | 토픽을 생성한 뒤 해당 토픽이 생성/소비 중인 경우. | 지정된 토픽에 대한 컨슈머 가져오기에 응답하기 위해 지정된 브로커가 데이터를 조회하도록 계층화 스토리지로 보낸 읽기 요청의 오류율입니다. 이 지표에는 해당 토픽의 모든 파티션이 포함되며, 지정된 브로커의 상하류 데이터 전송 트래픽에 영향을 줍니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteReadRequestsPerSec | 토픽을 생성한 뒤 해당 토픽이 생성/소비 중인 경우. | 지정된 토픽에 대한 컨슈머 가져오기에 응답하기 위해 지정된 브로커가 데이터를 조회하도록 계층화 스토리지로 보낸 읽기 요청 수입니다. 이 지표에는 해당 토픽의 모든 파티션이 포함되며, 지정된 브로커의 상하류 데이터 전송 트래픽에 영향을 줍니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
| RemoteWriteErrorPerSec | 토픽을 생성한 뒤 해당 토픽이 생성/소비 중인 경우. | 지정된 브로커가 업스트림 데이터 전송을 위해 계층화 스토리지로 보낸 쓰기 요청의 오류율입니다. 이 지표에는 해당 토픽의 모든 파티션이 포함되며, 지정된 브로커의 업스트림 데이터 전송 트래픽에 영향을 줍니다. 범주: 트래픽 및 오류율. 이 지표는 KIP-405 지표입니다. |
PER_TOPIC_PER_PARTITION 수준 모니터링¶
모니터링 수준을 PER_TOPIC_PER_PARTITION로 설정하면 PER_TOPIC_PER_BROKER, PER_BROKER 및 DEFAULT 수준의 모든 지표 외에도 아래 표에 설명된 지표를 추가로 사용할 수 있습니다. DEFAULT 수준 지표만 무료입니다. 이 표의 지표는 다음 차원을 가집니다: 컨슈머 그룹, 토픽, 파티션.
PER_TOPIC_PER_PARTITION 모니터링 수준에서 추가로 제공되는 지표 |
||
|---|---|---|
| 이름 | 표시 조건 | 설명 |
EstimatedTimeLag |
컨슈머 그룹이 토픽을 소비한 후. | 파티션 오프셋 지연이 소진될 것으로 추정되는 시간(초)입니다. |
OffsetLag |
컨슈머 그룹이 토픽을 소비한 후. | 파티션 수준 컨슈머의 오프셋 지연입니다. |
객체¶
AWS MSK 객체 데이터는 아직 없습니다.