Milvus 벡터 데이터베이스
Mlivus 벡터 데이터베이스 관련 지표 정보를 수집
구성¶
사전 요구 사항¶
- DataKit이 설치되어 있음
- Milvus 설치됨
Milvus 모니터링 활성화¶
Milvus /home/$USER/milvus/conf 디렉터리로 이동해 server_config.yaml 파일을 수정하고, Milvus 모니터링을 활성화한다
주의: Milvus가 Docker 컨테이너에 배포된 경우, 위 address 주소는 호스트 머신의 IP로 수정해야 한다
- 수정 후 Milvus를 재시작하고
http://localhost:9091/metrics에서 모니터링 데이터를 확인한다
DataKit 설정¶
- datakit 설치 디렉터리의
conf.d/samples디렉터리로 이동해prom.conf.sample을 복사한 뒤milvus.conf로 이름을 변경한다
milvus.conf내용을 다음과 같이 조정한다:
## 내보내기 URL.
urls = ["http://127.0.0.1:9091/metrics"]
## 스트림 크기.
## 원본 스트림 분할 크기이며, 기본값은 1이다.
## 0이면 원본 스트림을 분할하지 않는다.
stream_size = 1
## 유닉스 도메인 소켓 URL. 비어 있지 않으면 소켓을 사용해 데이터를 요청한다.
uds_path = ""
## URL 요청 오류를 무시한다.
ignore_req_err = false
## 수집기 별칭.
source = "milvus"
## 측정값 접두사.
## 측정값 집합 이름에 접두사를 추가한다.
measurement_prefix = ""
measurement_name = "milvus"
## 선택 사항: 수집 주기 (기본값: "30s").
interval = "30s"
# [inputs.prom.tags]
# some_tag = "some_value"
# more_tag = "some_other_value"
기타 설정은 필요에 따라 조정, 조정 매개변수 설명:
- urls: 지표 주소, 여기에는 해당 구성 요소가 노출한 지표 URL을 입력한다
- source: 수집기 별칭, 구분되도록 설정하는 것을 권장한다
- keep_exist_metric_name: 지표 이름을 유지한다
- interval: 수집 간격
- inputs.prom.tags: 추가 태그를 더한다
datakit을 다시 시작한 뒤 다음 명령을 실행한다
지표¶
Milvus 지표 집합¶
Milvus 지표는 milvus 지표 집합 아래에 있으며, 여기서는 Milvus 지표 관련 설명을 소개한다
| Metrics | 설명 | 단위 |
|---|---|---|
ann_iterator_init_latency_bucket |
ANN 반복기 초기화 지연 분포 버킷 |
초 |
bitset_ratio_bucket |
bitset 비율 분포 버킷 |
초 |
build_latency_bucket |
인덱스 빌드 지연 분포 버킷 |
초 |
build_latency_count |
인덱스 빌드 지연 개수 |
개수 |
build_latency_sum |
인덱스 빌드 지연 합계 |
초 |
search_latency_bucket |
검색 지연 분포 버킷 |
초 |
search_latency_count |
검색 지연 개수 |
개수 |
search_latency_sum |
검색 지연 합계 |
개수 |
search_topk_bucket |
검색 topk 분포 버킷 |
초 |
search_topk_count |
검색 topk 개수 |
개수 |
search_topk_sum |
검색 topk 합계 |
개수 |
milvus_datanode_consume_msg_count |
데이터 노드가 소비한 메시지 수 |
개수 |
milvus_datanode_flush_buffer_op_count |
데이터 노드 버퍼 비우기 작업 횟수 |
개수 |
milvus_datanode_msg_rows_count |
데이터 노드 메시지 행 수 |
개수 |
milvus_querynode_consume_tt_lag_ms |
쿼리 노드 소비 시간 지연 |
microsecond |
milvus_querynode_disk_used_size |
쿼리 노드 디스크 사용량 |
bytes |
milvus_querynode_entity_num |
쿼리 노드 엔티티 수 |
개수 |
milvus_querynode_entity_size |
쿼리 노드 엔티티 크기 |
bytes |
milvus_querynode_search_group_nq_bucket |
쿼리 노드 검색 그룹 질의 수 분포 버킷 |
초 |
milvus_querynode_search_group_nq_count |
쿼리 노드 검색 그룹 질의 수 개수 |
개수 |
milvus_querynode_search_group_nq_sum |
쿼리 노드 검색 그룹 질의 수 합계 |
개수 |
milvus_proxy_req_count |
프록시 요청 횟수 |
개수 |
milvus_proxy_req_latency_bucket |
프록시 요청 지연 분포 버킷 |
초 |
milvus_proxy_req_latency_count |
프록시 요청 지연 개수 |
개수 |
milvus_proxy_req_latency_sum |
프록시 요청 지연 합계 |
초 |
milvus_proxy_search_vectors_count |
프록시 검색 벡터 횟수 |
개수 |
milvus_proxy_send_bytes_count |
프록시 전송 바이트 수 |
bytes |
milvus_rootcoord_collection_num |
루트 코디네이터 컬렉션 수 |
개수 |
milvus_rootcoord_ddl_req_count |
루트 코디네이터 DDL 요청 횟수 |
개수 |
milvus_rootcoord_ddl_req_latency_bucket |
루트 코디네이터 DDL 요청 지연 분포 버킷 |
초 |
milvus_rootcoord_ddl_req_latency_count |
루트 코디네이터 DDL 요청 지연 개수 |
개수 |
milvus_rootcoord_ddl_req_latency_sum |
루트 코디네이터 DDL 요청 지연 합계 |
초 |
milvus_rootcoord_entity_num |
루트 코디네이터 엔티티 수 |
개수 |
milvus_rootcoord_partition_num |
루트 코디네이터 파티션 수 |
개수 |
milvus_rootcoord_produce_tt_lag_ms |
루트 코디네이터 생성 시간 지연 |
microsecond |
milvus_storage_kv_size_bucket |
Milvus 저장소 키-값 크기 분포 버킷 |
bytes |
milvus_storage_kv_size_count |
Milvus 저장소 키-값 크기 개수 |
개수 |
milvus_storage_kv_size_sum |
Milvus 저장소 키-값 크기 합계 |
bytes |
milvus_storage_op_count |
Milvus 저장 작업 횟수 |
개수 |
milvus_storage_request_latency_bucket |
Milvus 저장 요청 지연 분포 버킷 |
초 |
milvus_storage_request_latency_count |
Milvus 저장 요청 지연 개수 |
개수 |
milvus_storage_request_latency_sum |
Milvus 저장 요청 지연 합계 |
초 |
milvus_num_node |
Milvus 노드 수 |
개수 |
milvus_runtime_info |
Milvus 실행 정보 |
- |
process_max_fds |
프로세스 최대 파일 디스크립터 수 |
개수 |
process_open_fds |
프로세스가 열어 둔 파일 디스크립터 수 |
개수 |
process_start_time_seconds |
프로세스 시작 시간 |
초 |
process_virtual_memory_bytes |
프로세스 가상 메모리 바이트 수 |
bytes |
process_virtual_memory_max_bytes |
프로세스 가상 메모리 최대 바이트 수 |
bytes |