コンテンツにスキップ

Milvus ベクターデータベース

Milvus ベクターデータベース関連のメトリクス情報を収集

設定

前提条件

  • DataKit がインストール済みであること
  • Milvus がインストール済みであること

Milvus モニタリングを有効化

Milvus の /home/$USER/milvus/conf ディレクトリに入り、server_config.yaml ファイルを修正して Milvus のモニタリングを有効化する

metric:
  enable: true
  address: 127.0.0.1 
  port: 9091

注意: Milvus が Docker コンテナ内にデプロイされている場合、上記の address はホストマシンの IP に変更する必要がある

  • 変更後に Milvus を再起動し、http://localhost:9091/metrics でモニタリングデータを確認する

DataKit の設定

  • datakit のインストールディレクトリ内にある conf.d/samples ディレクトリへ移動し、prom.conf.sample をコピーして milvus.conf に名前変更する
cp prom.conf.sample milvus.conf
  • milvus.conf の内容を以下のように調整する
## Exporter URLs.
  urls = ["http://127.0.0.1:9091/metrics"]

  ## Stream Size. 
  ## The source stream segmentation size, (defaults to 1).
  ## 0 source stream undivided. 
  stream_size = 1

  ## Unix Domain Socket URL. Using socket to request data when not empty.
  uds_path = ""

  ## Ignore URL request errors.
  ignore_req_err = false

  ## Collector alias.
  source = "milvus"

  ## Measurement prefix.
  ## Add prefix to measurement set name.
  measurement_prefix = ""
  measurement_name = "milvus"

  ## (Optional) Collect interval: (defaults to "30s").
  interval = "30s"

  # [inputs.prom.tags]
    # some_tag = "some_value"
    # more_tag = "some_other_value"

その他の設定は必要に応じて調整、パラメータの説明は以下のとおり:

  • urls:メトリクスのアドレス。ここには対応するコンポーネントが公開しているメトリクス URL を記入する
  • source:コレクターの別名。識別できるように分けることを推奨
  • keep_exist_metric_name: メトリクス名を保持する
  • interval:収集間隔
  • inputs.prom.tags: 追加の tag を付与する

datakit を再起動して、以下のコマンドを実行する

datakit service -R

メトリクス

Milvus メトリクス集

Milvus のメトリクスは milvus メトリクス集にあり、ここでは Milvus メトリクス関連の説明を紹介する

Metrics 説明 単位
ann_iterator_init_latency_bucket ANN イテレーター初期化のレイテンシ分布バケット s
bitset_ratio_bucket bitset 比率の分布バケット s
build_latency_bucket インデックス構築レイテンシの分布バケット s
build_latency_count インデックス構築レイテンシのカウント count
build_latency_sum インデックス構築レイテンシの合計 s
search_latency_bucket 検索レイテンシの分布バケット s
search_latency_count 検索レイテンシのカウント count
search_latency_sum 検索レイテンシの合計 count
search_topk_bucket 検索 topk の分布バケット s
search_topk_count 検索 topk のカウント count
search_topk_sum 検索 topk の合計 count
milvus_datanode_consume_msg_count データノードが消費したメッセージ数 count
milvus_datanode_flush_buffer_op_count データノードのバッファフラッシュ操作回数 count
milvus_datanode_msg_rows_count データノードのメッセージ行数 count
milvus_querynode_consume_tt_lag_ms クエリノードが消費した時間遅延 microsecond
milvus_querynode_disk_used_size クエリノードのディスク使用量 bytes
milvus_querynode_entity_num クエリノードのエンティティ数 count
milvus_querynode_entity_size クエリノードのエンティティサイズ bytes
milvus_querynode_search_group_nq_bucket クエリノードの検索グループクエリ数の分布バケット s
milvus_querynode_search_group_nq_count クエリノードの検索グループクエリ数のカウント count
milvus_querynode_search_group_nq_sum クエリノードの検索グループクエリ数の合計 count
milvus_proxy_req_count プロキシのリクエスト回数 count
milvus_proxy_req_latency_bucket プロキシのリクエストレイテンシの分布バケット s
milvus_proxy_req_latency_count プロキシのリクエストレイテンシのカウント count
milvus_proxy_req_latency_sum プロキシのリクエストレイテンシの合計 s
milvus_proxy_search_vectors_count プロキシのベクター検索回数 count
milvus_proxy_send_bytes_count プロキシの送信バイト数 bytes
milvus_rootcoord_collection_num ルートコーディネーターのコレクション数 count
milvus_rootcoord_ddl_req_count ルートコーディネーターの DDL リクエスト回数 count
milvus_rootcoord_ddl_req_latency_bucket ルートコーディネーターの DDL リクエストレイテンシの分布バケット s
milvus_rootcoord_ddl_req_latency_count ルートコーディネーターの DDL リクエストレイテンシのカウント count
milvus_rootcoord_ddl_req_latency_sum ルートコーディネーターの DDL リクエストレイテンシの合計 s
milvus_rootcoord_entity_num ルートコーディネーターのエンティティ数 count
milvus_rootcoord_partition_num ルートコーディネーターのパーティション数 count
milvus_rootcoord_produce_tt_lag_ms ルートコーディネーターが生成した時間遅延 microsecond
milvus_storage_kv_size_bucket Milvus ストレージのキー値ペアサイズの分布バケット bytes
milvus_storage_kv_size_count Milvus ストレージのキー値ペアサイズのカウント count
milvus_storage_kv_size_sum Milvus ストレージのキー値ペアサイズの合計 bytes
milvus_storage_op_count Milvus ストレージの操作回数 count
milvus_storage_request_latency_bucket Milvus ストレージのリクエストレイテンシの分布バケット s
milvus_storage_request_latency_count Milvus ストレージのリクエストレイテンシのカウント count
milvus_storage_request_latency_sum Milvus ストレージのリクエストレイテンシの合計 s
milvus_num_node Milvus のノード数 count
milvus_runtime_info Milvus のランタイム情報 -
process_max_fds プロセスの最大ファイルディスクリプタ数 count
process_open_fds プロセスが開いているファイルディスクリプタ数 count
process_start_time_seconds プロセスの開始時刻 s
process_virtual_memory_bytes プロセスの仮想メモリバイト数 bytes
process_virtual_memory_max_bytes プロセスの仮想メモリ最大バイト数 bytes

フィードバック

このページは役に立ちましたか?