콘텐츠로 이동

AWS SageMaker

AWS SageMaker의 엔드포인트 자산, 호출, 지연 시간 및 인스턴스 리소스 메트릭을 수집합니다. 엔드포인트는 SageMaker 추론 서비스의 진입점이며, 변형은 모델 배포, 인스턴스 유형, 인스턴스 수 및 트래픽 배분을 정의합니다.

구성

Func 설치

Guance 통합 - 확장 - 호스팅 Func를 활성화하는 것이 좋습니다. 모든 사전 요구 사항이 자동으로 설치되므로 스크립트 설치를 계속 진행하세요.

Func를 직접 배포하는 경우 자체 호스팅 Func를 참조하세요.

스크립트 활성화

참고: 요구 사항을 충족하는 AWS 액세스 키를 미리 준비하세요. 간단히 설정하려면 전역 읽기 전용 권한인 ReadOnlyAccess를 부여할 수 있습니다.

  1. Func 콘솔에 로그인하고 스크립트 마켓을 클릭하여 Guance 스크립트 마켓을 연 다음 integration_aws_sagemaker를 검색합니다.
  2. 설치를 클릭한 후 AWS AK ID, AK Secret 및 계정 이름을 입력합니다.
  3. 시작 스크립트 배포를 클릭합니다. 시스템이 Startup 스크립트 세트를 자동으로 생성하고 해당 시작 스크립트를 구성합니다.
  4. 활성화하면 관리 / 자동 트리거 구성에서 해당 설정을 확인할 수 있습니다. 실행을 클릭하면 예약 시간을 기다리지 않고 즉시 실행할 수 있습니다. 잠시 후 작업 실행 기록과 로그를 확인하세요.

검증

  1. 관리 / 자동 트리거 구성에서 해당 작업의 자동 트리거가 있는지 확인하고 작업 기록과 로그에 이상이 없는지 점검합니다.
  2. Guance의 인프라 / 사용자 정의에서 자산 정보가 있는지 확인합니다.
  3. Guance의 메트릭에서 해당 모니터링 데이터가 있는지 확인합니다.

메트릭

aws_sagemaker

AWS 네임스페이스: AWS/SageMaker.

MetricName MetricDescribe Dimensions Unit
invocation_4xx_errors_average CloudWatch 기간 내 HTTP 4xx 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. account_name, region_id, endpoint_name, variant_name, dimensions ratio
invocation_4xx_errors_sum CloudWatch 기간 내 HTTP 4xx 오류 횟수입니다. account_name, region_id, endpoint_name, variant_name, dimensions count
invocation_5xx_errors_average CloudWatch 기간 내 HTTP 5xx 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. account_name, region_id, endpoint_name, variant_name, dimensions ratio
invocation_5xx_errors_sum CloudWatch 기간 내 HTTP 5xx 오류 횟수입니다. account_name, region_id, endpoint_name, variant_name, dimensions count
invocation_model_errors_average CloudWatch 기간 내 모델 호출 오류의 평균 비율이며 원래 값의 범위는 0–1입니다. account_name, region_id, endpoint_name, variant_name, dimensions ratio
invocation_model_errors_sum CloudWatch 기간 내 모델 호출 오류 횟수로, 연결 실패, 시간 초과 및 비정상 응답을 포함합니다. HTTP 오류와 중복될 수 있습니다. account_name, region_id, endpoint_name, variant_name, dimensions count
invocations_per_instance_sum CloudWatch 기간 내 당시 인스턴스 수로 정규화한 호출 횟수입니다. 현재 인스턴스 수를 곱해도 과거 총 호출 횟수를 복원할 수 없습니다. account_name, region_id, endpoint_name, variant_name, dimensions count
invocations_sum CloudWatch 기간 내 호출 횟수이며 누적 카운터나 QPS가 아닙니다. account_name, region_id, endpoint_name, variant_name, dimensions count
model_cache_hit_average 요청한 모델이 이미 메모리에 있는 요청의 비율이며 원래 값의 범위는 0–1입니다. account_name, region_id, endpoint_name, variant_name, dimensions ratio
model_downloading_time_average S3에서 모델을 다운로드하는 평균 시간입니다. account_name, region_id, endpoint_name, variant_name, dimensions μs
model_latency_average 모델이 요청을 처리하는 평균 시간입니다. account_name, region_id, endpoint_name, variant_name, dimensions μs
model_loading_time_average 추론 컨테이너가 모델을 로드하는 평균 시간입니다. account_name, region_id, endpoint_name, variant_name, dimensions μs
model_loading_wait_time_average 요청이 모델 다운로드 또는 로드를 기다리는 평균 시간입니다. account_name, region_id, endpoint_name, variant_name, dimensions μs
overhead_latency_average SageMaker 플랫폼의 추가 처리에 걸리는 평균 시간이며 클라이언트 네트워크 왕복 시간은 포함하지 않습니다. account_name, region_id, endpoint_name, variant_name, dimensions μs

aws_sagemaker_endpoints

AWS 네임스페이스: /aws/sagemaker/Endpoints.

MetricName MetricDescribe Dimensions Unit
cpuutilization_average 인스턴스의 모든 CPU 코어 사용률 합계 평균이며 멀티 코어 인스턴스에서는 100%를 초과할 수 있습니다. account_name, region_id, endpoint_name, variant_name, dimensions percent
disk_utilization_average 인스턴스 디스크 공간의 평균 사용률이며 디스크 I/O 사용률이 아닙니다. account_name, region_id, endpoint_name, variant_name, dimensions percent
loaded_model_count_average 인스턴스당 로드된 모델 수의 평균이며 인스턴스 전체의 고유 모델 총수가 아닙니다. account_name, region_id, endpoint_name, variant_name, dimensions count
memory_utilization_average 인스턴스의 평균 메모리 사용률이며 멀티 모델 캐시가 메모리를 사용하는 것은 정상입니다. account_name, region_id, endpoint_name, variant_name, dimensions percent

객체

엔드포인트 객체는 aws_sagemaker_endpoint에 저장됩니다. 다음은 검증된 스칼라 필드만 보여 줍니다.

{
  "measurement": "aws_sagemaker_endpoint",
  "tags": {
    "account_name": "pdsa-tw",
    "region_id": "ap-northeast-2",
    "endpoint_name": "guance-sagemaker-mme-20260909"
  },
  "fields": {
    "endpoint_config_name": "guance-sagemaker-mme-20260909",
    "endpoint_status": "InService",
    "last_modified_time": "2026-09-09T15:56:35.141000+08:00",
    "resource_creation_time": "2026-09-09T15:53:14.838000+08:00"
  }
}

참고: tags와 fields의 필드는 향후 업데이트에서 변경될 수 있습니다.

문서 평가

이 페이지가 도움이 되었나요?