AWS SageMaker
AWS SageMaker의 엔드포인트 자산, 호출, 지연 시간 및 인스턴스 리소스 메트릭을 수집합니다. 엔드포인트는 SageMaker 추론 서비스의 진입점이며, 변형은 모델 배포, 인스턴스 유형, 인스턴스 수 및 트래픽 배분을 정의합니다.
구성¶
Func 설치¶
Guance 통합 - 확장 - 호스팅 Func를 활성화하는 것이 좋습니다. 모든 사전 요구 사항이 자동으로 설치되므로 스크립트 설치를 계속 진행하세요.
Func를 직접 배포하는 경우 자체 호스팅 Func를 참조하세요.
스크립트 활성화¶
참고: 요구 사항을 충족하는 AWS 액세스 키를 미리 준비하세요. 간단히 설정하려면 전역 읽기 전용 권한인
ReadOnlyAccess를 부여할 수 있습니다.
- Func 콘솔에 로그인하고 스크립트 마켓을 클릭하여 Guance 스크립트 마켓을 연 다음
integration_aws_sagemaker를 검색합니다. - 설치를 클릭한 후 AWS AK ID, AK Secret 및 계정 이름을 입력합니다.
- 시작 스크립트 배포를 클릭합니다. 시스템이
Startup스크립트 세트를 자동으로 생성하고 해당 시작 스크립트를 구성합니다. - 활성화하면 관리 / 자동 트리거 구성에서 해당 설정을 확인할 수 있습니다. 실행을 클릭하면 예약 시간을 기다리지 않고 즉시 실행할 수 있습니다. 잠시 후 작업 실행 기록과 로그를 확인하세요.
검증¶
- 관리 / 자동 트리거 구성에서 해당 작업의 자동 트리거가 있는지 확인하고 작업 기록과 로그에 이상이 없는지 점검합니다.
- Guance의 인프라 / 사용자 정의에서 자산 정보가 있는지 확인합니다.
- Guance의 메트릭에서 해당 모니터링 데이터가 있는지 확인합니다.
메트릭¶
aws_sagemaker¶
AWS 네임스페이스: AWS/SageMaker.
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
invocation_4xx_errors_average |
CloudWatch 기간 내 HTTP 4xx 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | ratio |
invocation_4xx_errors_sum |
CloudWatch 기간 내 HTTP 4xx 오류 횟수입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
invocation_5xx_errors_average |
CloudWatch 기간 내 HTTP 5xx 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | ratio |
invocation_5xx_errors_sum |
CloudWatch 기간 내 HTTP 5xx 오류 횟수입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
invocation_model_errors_average |
CloudWatch 기간 내 모델 호출 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | ratio |
invocation_model_errors_sum |
CloudWatch 기간 내 모델 호출 오류 횟수로, 연결 실패, 시간 초과 및 비정상 응답을 포함합니다. HTTP 오류와 중복될 수 있습니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
invocations_per_instance_sum |
CloudWatch 기간 내 당시 인스턴스 수로 정규화한 호출 횟수입니다. 현재 인스턴스 수를 곱해도 과거 총 호출 횟수를 복원할 수 없습니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
invocations_sum |
CloudWatch 기간 내 호출 횟수이며 누적 카운터나 QPS가 아닙니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
model_cache_hit_average |
요청한 모델이 이미 메모리에 있는 요청의 비율이며 원래 값의 범위는 0–1입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | ratio |
model_downloading_time_average |
S3에서 모델을 다운로드하는 평균 시간입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | μs |
model_latency_average |
모델이 요청을 처리하는 평균 시간입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | μs |
model_loading_time_average |
추론 컨테이너가 모델을 로드하는 평균 시간입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | μs |
model_loading_wait_time_average |
요청이 모델 다운로드 또는 로드를 기다리는 평균 시간입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | μs |
overhead_latency_average |
SageMaker 플랫폼의 추가 처리에 걸리는 평균 시간이며 클라이언트 네트워크 왕복 시간은 포함하지 않습니다. | account_name, region_id, endpoint_name, variant_name, dimensions | μs |
aws_sagemaker_endpoints¶
AWS 네임스페이스: /aws/sagemaker/Endpoints.
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
cpuutilization_average |
인스턴스의 모든 CPU 코어 사용률 합계 평균이며 멀티 코어 인스턴스에서는 100%를 초과할 수 있습니다. | account_name, region_id, endpoint_name, variant_name, dimensions | percent |
disk_utilization_average |
인스턴스 디스크 공간의 평균 사용률이며 디스크 I/O 사용률이 아닙니다. | account_name, region_id, endpoint_name, variant_name, dimensions | percent |
loaded_model_count_average |
인스턴스당 로드된 모델 수의 평균이며 인스턴스 전체의 고유 모델 총수가 아닙니다. | account_name, region_id, endpoint_name, variant_name, dimensions | count |
memory_utilization_average |
인스턴스의 평균 메모리 사용률이며 멀티 모델 캐시가 메모리를 사용하는 것은 정상입니다. | account_name, region_id, endpoint_name, variant_name, dimensions | percent |
객체¶
엔드포인트 객체는 aws_sagemaker_endpoint에 저장됩니다. 다음은 검증된 스칼라 필드만 보여 줍니다.
{
"measurement": "aws_sagemaker_endpoint",
"tags": {
"account_name": "pdsa-tw",
"region_id": "ap-northeast-2",
"endpoint_name": "guance-sagemaker-mme-20260909"
},
"fields": {
"endpoint_config_name": "guance-sagemaker-mme-20260909",
"endpoint_status": "InService",
"last_modified_time": "2026-09-09T15:56:35.141000+08:00",
"resource_creation_time": "2026-09-09T15:53:14.838000+08:00"
}
}
참고: tags와 fields의 필드는 향후 업데이트에서 변경될 수 있습니다.