알리바바 클라우드 ElasticSearch¶
알리바바 클라우드 ElasticSearch 지표 표시, 클러스터 상태, 인덱스 QPS, 노드 CPU/메모리/디스크 사용률 등을 포함합니다.
설정¶
Func 설치¶
Guance 통합 - 확장 - 관리형 Func 활성화를 권장합니다
직접 Func를 배포하는 경우 Func 자체 배포를 참고하세요
활성화 스크립트¶
안내: 요구 사항을 충족하는 알리바바 클라우드 AK를 미리 준비해 주세요(간단히 하려면 전역 읽기 전용 권한
ReadOnlyAccess를 직접 부여할 수 있습니다)
관리형 버전 활성화 스크립트¶
- Guance 콘솔에 로그인합니다
- [통합] 메뉴를 클릭하고 [클라우드 계정 관리]를 선택합니다
- [클라우드 계정 추가]를 클릭하고 [알리바바 클라우드]를 선택한 뒤 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 이미 구성했다면 이 단계는 건너뜁니다
- [테스트]를 클릭합니다. 테스트가 성공하면 [저장]을 클릭하고, 실패하면 관련 구성 정보가 올바른지 확인한 뒤 다시 테스트합니다
- [클라우드 계정 관리] 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭해 상세 페이지로 들어갑니다
- 클라우드 계정 상세 페이지의 [통합] 버튼을 클릭하고
설치 안 됨목록에서알리바바 클라우드 ElasticSearch를 찾아 [설치] 버튼을 클릭하면 설치 화면이 나타나며 설치할 수 있습니다
수동 활성화 스크립트¶
-
Func 콘솔에 로그인한 뒤 [스크립트 마켓]을 클릭하고 Guance 스크립트 마켓으로 들어가
integration_alibabacloud_elasticsearch를 검색합니다 -
[설치]를 클릭한 후 알리바바 클라우드 AK ID, AK Secret 및 계정 이름을 입력합니다
-
[배포 시작 스크립트]를 클릭하면 시스템이 자동으로
Startup스크립트 세트를 생성하고 해당 시작 스크립트를 자동으로 구성합니다 -
활성화 후에는 「관리 / 자동 트리거 설정」에서 해당 자동 트리거 설정을 확인할 수 있습니다. [실행]을 클릭하면 예약 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다
검증¶
- 「관리 / 자동 트리거 설정」에서 해당 작업의 자동 트리거 설정이 존재하는지 확인하고, 동시에 작업 기록과 로그를 확인해 이상 여부를 점검합니다
- Guance의 「기반 시설 / 사용자 정의」에서 자산 정보가 있는지 확인합니다
- Guance의 「지표」에서 해당 모니터링 데이터가 있는지 확인합니다
지표¶
알리바바 클라우드-클라우드 모니터링을 구성하면 기본 지표 세트는 다음과 같습니다. 구성 방식으로 더 많은 지표를 수집할 수 있습니다. 알리바바 클라우드 모니터링 지표 상세
| Metric Id | Metric Name | Dimensions | Statistics | Unit |
|---|---|---|---|---|
ClusterAutoSnapshotLatestStatus |
스냅샷 상태 | userId,clusterId | Maximum | value |
ClusterIndexQPS |
클러스터 쓰기 QPS | userId,clusterId | Average | Count/Second |
ClusterQueryQPS |
클러스터 조회 QPS | userId,clusterId | Average | Count/Second |
ClusterStatus |
클러스터 상태 | userId,clusterId | Value,Maximum | value |
NodeCPUUtilization |
elasticsearch 인스턴스 노드 CPU 사용률 | userId,clusterId,nodeIP | Average,Maximum | % |
NodeDiskUtilization |
elasticsearch 인스턴스 노드 디스크 사용률 | userId,clusterId,nodeIP | Average,Maximum | % |
NodeHeapMemoryUtilization |
elasticsearch 인스턴스 노드 HeapMemory 사용률 | userId,clusterId,nodeIP | Average,Maximum | % |
NodeLoad_1m |
노드 Load_1m | userId,clusterId,nodeIP | Average | value |
NodeStatsDataDiskR |
초당 완료된 읽기 요청 수 | userId,clusterId,nodeIP | Maximum | count |
NodeStatsDataDiskRm |
초당 읽은 크기 | userId,clusterId,nodeIP | Maximum | MB/s |
NodeStatsDataDiskUtil |
IOUtil | userId,clusterId,nodeIP | Maximum | % |
NodeStatsDataDiskW |
초당 완료된 쓰기 요청 수 | userId,clusterId,nodeIP | Maximum | count |
NodeStatsDataDiskWm |
초당 기록된 크기 | userId,clusterId,nodeIP | Maximum | MB/s |
NodeStatsExceptionLogCount |
Exception 횟수 | userId,clusterId,nodeIP | Maximum | Count |
NodeStatsFullGcCollectionCount |
FullGc 횟수 | userId,clusterId,nodeIP | Maximum | Count |
NodeStatsNetworkinPackages |
노드 네트워크 수신 패킷 | userId,clusterId,nodeIP | Maximum | count |
NodeStatsNetworkinRate |
데이터 유입률 | userId,clusterId,nodeIP | Maximum | kB/s |
NodeStatsNetworkoutPackages |
노드 네트워크 송신 패킷 | userId,clusterId,nodeIP | Maximum | count |
NodeStatsNetworkoutRate |
데이터 유출률 | userId,clusterId,nodeIP | Maximum | kB/s |
NodeStatsTcpEstablished |
노드 TCP 연결 수 | userId,clusterId,nodeIP | Maximum | count |
객체¶
수집된 알리바바 클라우드 ElasticSearch 객체 데이터 구조는 「기반 시설-사용자 정의」에서 확인할 수 있습니다
{
"measurement": "aliyun_elasticsearch",
"tags": {
"RegionId" : "cn-hangzhou",
"esVersion" : "7.4.0_with_X-Pack",
"instanceId" : "es-cn-xxxx",
"name" : "es-cn-xxxx",
"paymentType" : "prepaid",
"resourceGroupId": "rg-acfm2l3p7xxxx",
"serviceVpc" : "True",
"status" : "active"
},
"fields": {
"advancedDedicateMaster": false,
"createdAt" : "2021-04-07T06:10:50.527Z",
"extendConfigs" : "[ {클러스터 확장 매개변수 구성 JSON 데이터}, ...]",
"message" : "{인스턴스 JSON 데이터}"
}
}
로그¶
전제 조건¶
안내1: 이 수집기를 사용하기 전에 반드시 「Guance 통합 Core 핵심 패키지」와 그에 맞는 서드파티 의존성 패키지를 설치해야 합니다 안내2: 이 스크립트의 코드 실행은 mongodb 인스턴스 객체 수집에 의존합니다. mongodb 사용자 정의 객체 수집이 구성되지 않은 경우, 느린 로그 스크립트는 느린 로그 데이터를 수집할 수 없습니다
스크립트 설치¶
이전 단계에 더해, elasticsearch 로그 수집용 스크립트를 하나 더 설치해야 합니다
「관리 / 스크립트 마켓」에서 해당 스크립트 패키지를 클릭해 설치합니다.
- 「Guance 통합(알리바바 클라우드-ElasticSearch 수집)」(ID:
integration_alibabacloud_elasticsearch_log)
데이터 보고 형식¶
데이터가 정상적으로 동기화되면 Guance의 「기반 시설-사용자 정의 객체」에서 데이터를 확인할 수 있습니다.
보고되는 데이터 예시는 다음과 같습니다.
{
"measurement": "aliyun_elasticsearch_log",
"tags": {
"RegionId" : "cn-hangzhou",
"esVersion" : "7.10.0_with_X-Pack",
"host" : "10.14.xxx.xxx",
"instanceId" : "es-cn-xxxx",
"name" : "es-cn-xxxx",
"paymentType" : "prepaid",
"resourceGroupId": "rg-aekzkcwe4dxxxx",
"serviceVpc" : "True",
"status" : "active"
},
"fields": {
"timestamp" : 1684304299000,
"contentCollection": "[ {로그 상세 정보 JSON 데이터}, ...]",
"message" : "{인스턴스 JSON 데이터}"
}
}
log_types(로그 유형) 할당 의미:
| 값 | 설명 |
|---|---|
INSTANCELOG |
메인 로그 |
SEARCHSLOW |
searching 느린 로그 |
INDEXINGSLOW |
indexing 느린 로그 |
JVMLOG |
GC 로그 |
ES_SEARCH_ACCESS_LOG |
ES 접근 로그 |
AUDIT |
감사 로그 |
주의:
tags,fields의 필드는 후속 업데이트에 따라 변경될 수 있습니다 안내1: tags.name 값은 인스턴스 ID이며, 고유 식별자로 사용됩니다 안내2:fields.message는 JSON 직렬화 후 문자열입니다