콘텐츠로 이동

Milvus 벡터 데이터베이스

Mlivus 벡터 데이터베이스 관련 지표 정보를 수집

구성

사전 요구 사항

  • DataKit이 설치되어 있음
  • Milvus 설치됨

Milvus 모니터링 활성화

Milvus /home/$USER/milvus/conf 디렉터리로 이동해 server_config.yaml 파일을 수정하고, Milvus 모니터링을 활성화한다

metric:
  enable: true
  address: 127.0.0.1 
  port: 9091

주의: Milvus가 Docker 컨테이너에 배포된 경우, 위 address 주소는 호스트 머신의 IP로 수정해야 한다

  • 수정 후 Milvus를 재시작하고 http://localhost:9091/metrics에서 모니터링 데이터를 확인한다

DataKit 설정

  • datakit 설치 디렉터리의 conf.d/samples 디렉터리로 이동해 prom.conf.sample을 복사한 뒤 milvus.conf로 이름을 변경한다
cp prom.conf.sample milvus.conf
  • milvus.conf 내용을 다음과 같이 조정한다:
## 내보내기 URL.
  urls = ["http://127.0.0.1:9091/metrics"]

  ## 스트림 크기. 
  ## 원본 스트림 분할 크기이며, 기본값은 1이다.
  ## 0이면 원본 스트림을 분할하지 않는다. 
  stream_size = 1

  ## 유닉스 도메인 소켓 URL. 비어 있지 않으면 소켓을 사용해 데이터를 요청한다.
  uds_path = ""

  ## URL 요청 오류를 무시한다.
  ignore_req_err = false

  ## 수집기 별칭.
  source = "milvus"

  ## 측정값 접두사.
  ## 측정값 집합 이름에 접두사를 추가한다.
  measurement_prefix = ""
  measurement_name = "milvus"

  ## 선택 사항: 수집 주기 (기본값: "30s").
  interval = "30s"

  # [inputs.prom.tags]
    # some_tag = "some_value"
    # more_tag = "some_other_value"

기타 설정은 필요에 따라 조정, 조정 매개변수 설명:

  • urls: 지표 주소, 여기에는 해당 구성 요소가 노출한 지표 URL을 입력한다
  • source: 수집기 별칭, 구분되도록 설정하는 것을 권장한다
  • keep_exist_metric_name: 지표 이름을 유지한다
  • interval: 수집 간격
  • inputs.prom.tags: 추가 태그를 더한다

datakit을 다시 시작한 뒤 다음 명령을 실행한다

datakit service -R

지표

Milvus 지표 집합

Milvus 지표는 milvus 지표 집합 아래에 있으며, 여기서는 Milvus 지표 관련 설명을 소개한다

Metrics 설명 단위
ann_iterator_init_latency_bucket ANN 반복기 초기화 지연 분포 버킷
bitset_ratio_bucket bitset 비율 분포 버킷
build_latency_bucket 인덱스 빌드 지연 분포 버킷
build_latency_count 인덱스 빌드 지연 개수 개수
build_latency_sum 인덱스 빌드 지연 합계
search_latency_bucket 검색 지연 분포 버킷
search_latency_count 검색 지연 개수 개수
search_latency_sum 검색 지연 합계 개수
search_topk_bucket 검색 topk 분포 버킷
search_topk_count 검색 topk 개수 개수
search_topk_sum 검색 topk 합계 개수
milvus_datanode_consume_msg_count 데이터 노드가 소비한 메시지 수 개수
milvus_datanode_flush_buffer_op_count 데이터 노드 버퍼 비우기 작업 횟수 개수
milvus_datanode_msg_rows_count 데이터 노드 메시지 행 수 개수
milvus_querynode_consume_tt_lag_ms 쿼리 노드 소비 시간 지연 microsecond
milvus_querynode_disk_used_size 쿼리 노드 디스크 사용량 bytes
milvus_querynode_entity_num 쿼리 노드 엔티티 수 개수
milvus_querynode_entity_size 쿼리 노드 엔티티 크기 bytes
milvus_querynode_search_group_nq_bucket 쿼리 노드 검색 그룹 질의 수 분포 버킷
milvus_querynode_search_group_nq_count 쿼리 노드 검색 그룹 질의 수 개수 개수
milvus_querynode_search_group_nq_sum 쿼리 노드 검색 그룹 질의 수 합계 개수
milvus_proxy_req_count 프록시 요청 횟수 개수
milvus_proxy_req_latency_bucket 프록시 요청 지연 분포 버킷
milvus_proxy_req_latency_count 프록시 요청 지연 개수 개수
milvus_proxy_req_latency_sum 프록시 요청 지연 합계
milvus_proxy_search_vectors_count 프록시 검색 벡터 횟수 개수
milvus_proxy_send_bytes_count 프록시 전송 바이트 수 bytes
milvus_rootcoord_collection_num 루트 코디네이터 컬렉션 수 개수
milvus_rootcoord_ddl_req_count 루트 코디네이터 DDL 요청 횟수 개수
milvus_rootcoord_ddl_req_latency_bucket 루트 코디네이터 DDL 요청 지연 분포 버킷
milvus_rootcoord_ddl_req_latency_count 루트 코디네이터 DDL 요청 지연 개수 개수
milvus_rootcoord_ddl_req_latency_sum 루트 코디네이터 DDL 요청 지연 합계
milvus_rootcoord_entity_num 루트 코디네이터 엔티티 수 개수
milvus_rootcoord_partition_num 루트 코디네이터 파티션 수 개수
milvus_rootcoord_produce_tt_lag_ms 루트 코디네이터 생성 시간 지연 microsecond
milvus_storage_kv_size_bucket Milvus 저장소 키-값 크기 분포 버킷 bytes
milvus_storage_kv_size_count Milvus 저장소 키-값 크기 개수 개수
milvus_storage_kv_size_sum Milvus 저장소 키-값 크기 합계 bytes
milvus_storage_op_count Milvus 저장 작업 횟수 개수
milvus_storage_request_latency_bucket Milvus 저장 요청 지연 분포 버킷
milvus_storage_request_latency_count Milvus 저장 요청 지연 개수 개수
milvus_storage_request_latency_sum Milvus 저장 요청 지연 합계
milvus_num_node Milvus 노드 수 개수
milvus_runtime_info Milvus 실행 정보 -
process_max_fds 프로세스 최대 파일 디스크립터 수 개수
process_open_fds 프로세스가 열어 둔 파일 디스크립터 수 개수
process_start_time_seconds 프로세스 시작 시간
process_virtual_memory_bytes 프로세스 가상 메모리 바이트 수 bytes
process_virtual_memory_max_bytes 프로세스 가상 메모리 최대 바이트 수 bytes

문서 평가

이 페이지가 도움이 되었나요?