MongoDB

·

MongoDB 数据库，Collection， MongoDB 数据库集群运行状态数据采集。

配置¶

前置条件¶

• 已测试的版本：

  • 6.0
  • 5.0
  • 4.0
  • 3.0
  • 2.8.0

• 开发使用 MongoDB 版本 4.4.5;

• 编写配置文件在对应目录下然后启动 DataKit 即可完成配置；
• 使用 TLS 进行安全连接请在配置文件中配置 ## TLS connection config 下响应证书文件路径与配置；
• 如果 MongoDB 启动了访问控制那么需要配置必须的用户权限用于建立授权连接：

# Run MongoDB shell.
$ mongo

# Authenticate as the admin/root user.
> use admin
> db.auth("<admin OR root>", "<YOUR_MONGODB_ADMIN_PASSWORD>")

# Create the user for the DataKit.
> db.createUser({
  "user": "datakit",
  "pwd": "<YOUR_COLLECT_PASSWORD>",
  "roles": [
    { role: "read", db: "admin" },
    { role: "clusterMonitor", db: "admin" },
    { role: "backup", db: "admin" },
    { role: "read", db: "local" }
  ]
})

更多权限说明可参见官方文档 Built-In Roles。

执行完上述命令后将创建的「用户名」和「密码」填入 DataKit 的配置文件 conf.d/db/mongodb.conf 中。

采集器配置¶

[[inputs.mongodb]]
  ## Gathering interval
  interval = "10s"

  ## Specify one single Mongodb server. These server related fields will be ignored when the 'servers' field is not empty.
  ## connection_format is a string in the standard connection format (mongodb://) or SRV connection format (mongodb+srv://).
  connection_format = "mongodb://"

  ## The host and port. 
  host_port = "127.0.0.1:27017"

  ## Username
  username = "datakit"

  ## Password
  password = "<PASS>"

  ## The authentication database to use.
  # default_db = "admin"

  ## A query string that specifies connection specific options as <name>=<value> pairs.
  # query_string = "authSource=admin&authMechanism=SCRAM-SHA-256"

  ## When true, collect replica set stats
  gather_replica_set_stats = false

  ## When true, collect cluster stats
  ## Note that the query that counts jumbo chunks triggers a COLLSCAN, which may have an impact on performance.
  gather_cluster_stats = false

  ## When true, collect per database stats
  gather_per_db_stats = true

  ## When true, collect per collection stats
  gather_per_col_stats = true

  ## List of db where collections stats are collected, If empty, all dbs are concerned.
  col_stats_dbs = []

  ## When true, collect top command stats.
  gather_top_stat = true

  ## Set true to enable election
  election = true

  ## TLS connection config
  # ca_certs = ["/etc/ssl/certs/mongod.cert.pem"]
  # cert = "/etc/ssl/certs/mongo.cert.pem"
  # cert_key = "/etc/ssl/certs/mongo.key.pem"
  # insecure_skip_verify = true
  # server_name = ""

  ## Database Monitoring configuration.
  [inputs.mongodb.dbm]
    enabled = false
    ## Databases whose Database Monitoring data are collected.
    ## Empty means all databases except admin for Query Metrics and Activity.
    ## Slow Operations auto-discovers at most 100 databases and refreshes the list every 10 minutes.
    databases = []

  ## Query metrics require MongoDB 8.0 or later.
  [inputs.mongodb.dbm.query_metrics]
    enabled = true
    interval = "60s"
    ## Maximum number of query statistic entries collected per interval.
    limit = 10000
    ## Maximum number of obfuscated query bytes stored in the query_text tag (default: 512, maximum: 1024).
    query_text_max_bytes = 512

  ## Activity captures currently running operations from the $currentOp aggregation stage.
  [inputs.mongodb.dbm.activity]
    enabled = true
    interval = "10s"

  ## Slow Operations collects completed operations recorded in each database's system.profile collection.
  [inputs.mongodb.dbm.slow_operations]
    enabled = false
    interval = "10s"
    max_operations = 1000

  ## collect mongodb object
  [inputs.mongodb.object]
    ## Set true to enable mongodb object collection
    enabled = true

    ## interval to collect mongodb object which will be greater than collection interval
    interval = "600s"

  ## Mongodb log files and Grok Pipeline files configuration
  # [inputs.mongodb.log]
    # files = ["/var/log/mongodb/mongod.log"]
    # pipeline = "mongod.p"

  ## Customer tags, if set will be seen with every metric.
  # [inputs.mongodb.tags]
    # "key1" = "value1"
    # "key2" = "value2"
    # ...

数据库监控¶

MongoDB 数据库监控（DBM）包含 Query Metrics、Activity 和 Slow Operations。dbm.enabled 是总开关，databases 是三类采集共用的数据库过滤配置；空列表表示采集除 admin 外的所有数据库。

[[inputs.mongodb]]
  # ... MongoDB 连接配置

  [inputs.mongodb.dbm]
    enabled = true
    databases = []

  [inputs.mongodb.dbm.query_metrics]
    enabled = true
    interval = "60s"
    limit = 10000
    query_text_max_bytes = 512

  [inputs.mongodb.dbm.activity]
    enabled = true
    interval = "10s"

  [inputs.mongodb.dbm.slow_operations]
    enabled = false
    interval = "10s"
    max_operations = 1000

Query Metrics 和 Activity 在开启 DBM 后默认启用；Slow Operations 默认关闭，需要单独开启。三类采集均使用 MongoDB 配置中第一个成功初始化的 server。

Query Metrics¶

Query Metrics 通过 $queryStats 采集按查询形态聚合的执行次数、耗时和扫描量。

前置条件¶

• MongoDB 需要 8.0 及以上版本。
• 自建 MongoDB 需要将 internalQueryStatsRateLimit 设置为正整数；默认值 0 不记录 Query Stats。例如：

setParameter:
  internalQueryStatsRateLimit: 100

也可以通过 setParameter 动态修改；-1 表示不限制记录速率。

配置¶

• enabled：开启 DBM 后 Query Metrics 默认启用，可设置为 false 单独关闭。
• interval：采集周期，默认 60s。
• limit：每个采集周期最多处理的 Query Stats 条目数，默认 10000。
• query_text_max_bytes：query_text tag 保存的脱敏查询文本最大字节数，默认 512，最大 1024。截断时保证 UTF-8 字符完整，并将 query_truncated 标记为 true。

首次采集用于建立增量基线，后续采集会上报：

• mongodb_dbm_metric：累计值以及以 delta_ 开头的周期增量。
• db_query：脱敏后的查询命令，同一 query_signature 每 24 小时最多上报一次。

Activity¶

Activity 通过 $currentOp 采集当前正在执行的操作。

• enabled：开启 DBM 后 Activity 默认启用，可设置为 false 单独关闭 Activity。
• interval：采集周期，默认 10s。

每个可见操作生成一条脱敏后的 mongodb_dbm_activity 日志；同时聚合生成 mongodb_dbm_operation 指标，其中 active_operation_count 表示活跃操作数，waiting_for_lock_count 表示等待锁的操作数。该指标不表示 MongoDB 的全部连接数。

Slow Operations¶

Slow Operations 从各数据库的 system.profile 集合增量采集已完成的慢操作。需要在要监控的数据库中启用 MongoDB Profiler，例如：

db.setProfilingLevel(1, { slowms: 100 })

• enabled：默认关闭，需要同时开启 dbm.enabled 后显式启用。
• interval：采集周期，默认 10s。
• max_operations：每个采集周期最多上报的慢操作数，默认 1000。

每条慢操作生成一条 mongodb_dbm_slow_query 日志。日志时间取自 system.profile.ts，完整脱敏命令保存在 message 字段中；operation、command_type 和 plan_summary 等标签可用于聚合慢操作数量和执行耗时。

TLS 配置 (self-signed)¶

使用 openssl 生成证书文件用于 MongoDB TLS 配置，用于开启服务端加密和客户端认证。

• 配置 TLS 证书

安装 openssl 运行以下命令：

sudo apt install openssl -y

• 配置 MongoDB 服务端加密

使用 openssl 生成证书级密钥文件，运行以下命令并按照命令提示符输入相应验证块信息：

sudo openssl req -x509 -newkey rsa:<bits> -days <days> -keyout <mongod.key.pem> -out <mongod.cert.pem> -nodes

• bits: rsa 密钥位数，例如 2048
• days: expired 日期
• mongod.key.pem: 密钥文件
• mongod.cert.pem: CA 证书文件

运行上面的命令后生成 cert.pem 文件和 key.pem 文件，我们需要合并两个文件内的 block 运行以下命令：

sudo bash -c "cat mongod.cert.pem mongod.key.pem >>mongod.pem"

合并后配置 /etc/mongod.config 文件中的 TLS 子项

# TLS config
net:
  tls:
    mode: requireTLS
    certificateKeyFile: </etc/ssl/mongod.pem>

使用配置文件启动 MongoDB 运行以下命令：

mongod --config /etc/mongod.conf

使用命令行启动 MongoDB 运行一下命令：

mongod --tlsMode requireTLS --tlsCertificateKeyFile </etc/ssl/mongod.pem> --dbpath <.db/mongodb>

复制 mongod.cert.pem 为 mongo.cert.pem 到 MongoDB 客户端并启用 TLS：

mongo --tls --host <mongod_url> --tlsCAFile </etc/ssl/mongo.cert.pem>

• 配置 MongoDB 客户端认证

使用 openssl 生成证书级密钥文件，运行以下命令：

sudo openssl req -x509 -newkey rsa:<bits> -days <days> -keyout <mongod.key.pem> -out <mongod.cert.pem> -nodes

• bits: rsa 密钥位数，例如 2048
• days: expired 日期
• mongo.key.pem: 密钥文件
• mongo.cert.pem: CA 证书文件

合并 mongod.cert.pem 和 mongod.key.pem 文件中的 block 运行以下命令：

sudo bash -c "cat mongod.cert.pem mongod.key.pem >>mongod.pem"

复制 mongod.cert.pem 文件到 MongoDB 服务端然后配置 /etc/mongod.config 文件中的 TLS 项：

# Tls config
net:
  tls:
    mode: requireTLS
    certificateKeyFile: </etc/ssl/mongod.pem>
    CAFile: </etc/ssl/mongod.cert.pem>

启动 MongoDB 运行以下命令：

mongod --config /etc/mongod.conf

复制 mongod.cert.pem 为 mongo.cert.pem ，复制 mongod.pem 为 mongo.pem 到 MongoDB 客户端并启用 TLS：

mongo --tls --host <mongod_url> --tlsCAFile </etc/ssl/mongo.cert.pem> --tlsCertificateKeyFile </etc/ssl/mongo.pem>

注意：使用自签名证书时，mongodb.conf 配置中 insecure_skip_verify 必须是 true

指标¶

以下所有数据采集，默认会追加全局选举 tag，也可以在配置中通过 [inputs.mongodb.tags] 指定其它标签：

 [inputs.mongodb.tags]
  # some_tag = "some_value"
  # more_tag = "some_other_value"
  # ...

mongodb¶

• 说明

MongoDB serverStatus metrics collected from the configured MongoDB instance.

mongodb_db_stats¶

• 说明

MongoDB stats measurement. Some metrics may not appear depending on the MongoDB version or DB running status.

mongodb_col_stats¶

• 说明

MongoDB collection measurement. Some metrics may not appear depending on the MongoDB version or DB running status.

mongodb_shard_stats¶

• 说明

MongoDB shard measurement. Some metrics may not appear depending on the MongoDB version or DB running status.

mongodb_top_stats¶

• 说明

MongoDB top measurement. Some metrics may not appear depending on the MongoDB version or DB running status.

mongodb_dbm_metric¶

• 说明

MongoDB Query Metrics collected from $queryStats. Original fields are cumulative values and delta_ fields are changes during the collection interval.

mongodb_dbm_operation¶

• 说明

MongoDB active operations aggregated from each $currentOp Activity snapshot.

collector¶

• 说明

Shared collector availability metric emitted by multiple collectors to report whether the target was successfully scraped.

对象¶

database¶

MongoDB object metrics.

message 指标字段结构¶

message 字段存放 MongoDB 启动/配置相关设置，数据来自 getCmdLineOpts admin 命令返回结果中的 parsed 部分。该字段不会包含命令行 argv、连接数或数据库统计信息。实际包含的 key 取决于 MongoDB 启动参数和配置文件。基本结构如下：

{
  "setting": {
    "net": {
      "port": 27017,
      "bindIp": "127.0.0.1"
    },
    "storage": {
      "dbPath": "/var/lib/mongodb",
      "engine": "wiredTiger"
    },
    "systemLog": {
      "destination": "file",
      "path": "/var/log/mongodb/mongod.log"
    }
  }
}

db_query¶

MongoDB DBM query objects containing the obfuscated command linked to Query Metrics by query_signature and reported at most once every 24 hours per signature.

日志¶

以下 DBM Activity 指标集以日志形式采集：

mongodb_dbm_activity¶

通过 $currentOp 快照采集的 MongoDB 当前活动操作。

mongodb_dbm_slow_query¶

从各数据库 system.profile 集合采集的 MongoDB 已完成慢操作。

Mongod 日志采集¶

去注释配置文件中 # enable_mongod_log = false 然后将 false 改为 true，其他关于 mongod log 配置选项在 [inputs.mongodb.log] 中，注释掉的配置极为默认配置，如果路径对应正确将无需任何配置启动 DataKit 后将会看到指标名为 mongod_log 的采集指标集。

日志原始数据 sample

{"t":{"$date":"2021-06-03T09:12:19.977+00:00"},"s":"I",  "c":"STORAGE",  "id":22430,   "ctx":"WTCheckpointThread","msg":"WiredTiger message","attr":{"message":"[1622711539:977142][1:0x7f1b9f159700], WT_SESSION.checkpoint: [WT_VERB_CHECKPOINT_PROGRESS] saving checkpoint snapshot min: 653, snapshot max: 653 snapshot count: 0, oldest timestamp: (0, 0) , meta checkpoint timestamp: (0, 0)"}}

日志切割字段