Milvus ベクターデータベース
Milvus ベクターデータベース関連のメトリクス情報を収集
設定¶
前提条件¶
- DataKit がインストール済みであること
- Milvus がインストール済みであること
Milvus モニタリングを有効化¶
Milvus の /home/$USER/milvus/conf ディレクトリに入り、server_config.yaml ファイルを修正して Milvus のモニタリングを有効化する
注意: Milvus が Docker コンテナ内にデプロイされている場合、上記の address はホストマシンの IP に変更する必要がある
- 変更後に Milvus を再起動し、
http://localhost:9091/metricsでモニタリングデータを確認する
DataKit の設定¶
- datakit のインストールディレクトリ内にある
conf.d/samplesディレクトリへ移動し、prom.conf.sampleをコピーしてmilvus.confに名前変更する
milvus.confの内容を以下のように調整する
## Exporter URLs.
urls = ["http://127.0.0.1:9091/metrics"]
## Stream Size.
## The source stream segmentation size, (defaults to 1).
## 0 source stream undivided.
stream_size = 1
## Unix Domain Socket URL. Using socket to request data when not empty.
uds_path = ""
## Ignore URL request errors.
ignore_req_err = false
## Collector alias.
source = "milvus"
## Measurement prefix.
## Add prefix to measurement set name.
measurement_prefix = ""
measurement_name = "milvus"
## (Optional) Collect interval: (defaults to "30s").
interval = "30s"
# [inputs.prom.tags]
# some_tag = "some_value"
# more_tag = "some_other_value"
その他の設定は必要に応じて調整、パラメータの説明は以下のとおり:
- urls:メトリクスのアドレス。ここには対応するコンポーネントが公開しているメトリクス URL を記入する
- source:コレクターの別名。識別できるように分けることを推奨
- keep_exist_metric_name: メトリクス名を保持する
- interval:収集間隔
- inputs.prom.tags: 追加の tag を付与する
datakit を再起動して、以下のコマンドを実行する
メトリクス¶
Milvus メトリクス集¶
Milvus のメトリクスは milvus メトリクス集にあり、ここでは Milvus メトリクス関連の説明を紹介する
| Metrics | 説明 | 単位 |
|---|---|---|
ann_iterator_init_latency_bucket |
ANN イテレーター初期化のレイテンシ分布バケット |
s |
bitset_ratio_bucket |
bitset 比率の分布バケット |
s |
build_latency_bucket |
インデックス構築レイテンシの分布バケット |
s |
build_latency_count |
インデックス構築レイテンシのカウント |
count |
build_latency_sum |
インデックス構築レイテンシの合計 |
s |
search_latency_bucket |
検索レイテンシの分布バケット |
s |
search_latency_count |
検索レイテンシのカウント |
count |
search_latency_sum |
検索レイテンシの合計 |
count |
search_topk_bucket |
検索 topk の分布バケット |
s |
search_topk_count |
検索 topk のカウント |
count |
search_topk_sum |
検索 topk の合計 |
count |
milvus_datanode_consume_msg_count |
データノードが消費したメッセージ数 |
count |
milvus_datanode_flush_buffer_op_count |
データノードのバッファフラッシュ操作回数 |
count |
milvus_datanode_msg_rows_count |
データノードのメッセージ行数 |
count |
milvus_querynode_consume_tt_lag_ms |
クエリノードが消費した時間遅延 |
microsecond |
milvus_querynode_disk_used_size |
クエリノードのディスク使用量 |
bytes |
milvus_querynode_entity_num |
クエリノードのエンティティ数 |
count |
milvus_querynode_entity_size |
クエリノードのエンティティサイズ |
bytes |
milvus_querynode_search_group_nq_bucket |
クエリノードの検索グループクエリ数の分布バケット |
s |
milvus_querynode_search_group_nq_count |
クエリノードの検索グループクエリ数のカウント |
count |
milvus_querynode_search_group_nq_sum |
クエリノードの検索グループクエリ数の合計 |
count |
milvus_proxy_req_count |
プロキシのリクエスト回数 |
count |
milvus_proxy_req_latency_bucket |
プロキシのリクエストレイテンシの分布バケット |
s |
milvus_proxy_req_latency_count |
プロキシのリクエストレイテンシのカウント |
count |
milvus_proxy_req_latency_sum |
プロキシのリクエストレイテンシの合計 |
s |
milvus_proxy_search_vectors_count |
プロキシのベクター検索回数 |
count |
milvus_proxy_send_bytes_count |
プロキシの送信バイト数 |
bytes |
milvus_rootcoord_collection_num |
ルートコーディネーターのコレクション数 |
count |
milvus_rootcoord_ddl_req_count |
ルートコーディネーターの DDL リクエスト回数 |
count |
milvus_rootcoord_ddl_req_latency_bucket |
ルートコーディネーターの DDL リクエストレイテンシの分布バケット |
s |
milvus_rootcoord_ddl_req_latency_count |
ルートコーディネーターの DDL リクエストレイテンシのカウント |
count |
milvus_rootcoord_ddl_req_latency_sum |
ルートコーディネーターの DDL リクエストレイテンシの合計 |
s |
milvus_rootcoord_entity_num |
ルートコーディネーターのエンティティ数 |
count |
milvus_rootcoord_partition_num |
ルートコーディネーターのパーティション数 |
count |
milvus_rootcoord_produce_tt_lag_ms |
ルートコーディネーターが生成した時間遅延 |
microsecond |
milvus_storage_kv_size_bucket |
Milvus ストレージのキー値ペアサイズの分布バケット |
bytes |
milvus_storage_kv_size_count |
Milvus ストレージのキー値ペアサイズのカウント |
count |
milvus_storage_kv_size_sum |
Milvus ストレージのキー値ペアサイズの合計 |
bytes |
milvus_storage_op_count |
Milvus ストレージの操作回数 |
count |
milvus_storage_request_latency_bucket |
Milvus ストレージのリクエストレイテンシの分布バケット |
s |
milvus_storage_request_latency_count |
Milvus ストレージのリクエストレイテンシのカウント |
count |
milvus_storage_request_latency_sum |
Milvus ストレージのリクエストレイテンシの合計 |
s |
milvus_num_node |
Milvus のノード数 |
count |
milvus_runtime_info |
Milvus のランタイム情報 |
- |
process_max_fds |
プロセスの最大ファイルディスクリプタ数 |
count |
process_open_fds |
プロセスが開いているファイルディスクリプタ数 |
count |
process_start_time_seconds |
プロセスの開始時刻 |
s |
process_virtual_memory_bytes |
プロセスの仮想メモリバイト数 |
bytes |
process_virtual_memory_max_bytes |
プロセスの仮想メモリ最大バイト数 |
bytes |