火山引擎 ESCloud 云搜索服务
采集火山引擎 ESCloud 云搜索服务指标数据
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
安装脚本¶
提示：请提前准备好符合要求的火山引擎 AK（简单起见，可直接授予全局只读权限
ReadOnlyAccess）
同步 ESCloud 云资源的监控数据，我们安装对应的采集脚本：「观测云集成（火山引擎-云搜索服务采集）」(ID：integration_volcengine_es_cloud)
点击【安装】后，输入相应的参数：火山引擎 AK、火山引擎账户名、地域Regions。
点击【部署启动脚本】，系统会自动创建 Startup 脚本集，并自动配置相应的启动脚本。
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志。
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
- 在观测云，「基础设施 - 资源目录」中查看是否存在资产信息
- 在观测云，「指标」查看是否有对应监控数据
指标¶
配置火山引擎 ESCloud 监控指标，可以通过配置的方式采集更多的指标 火山引擎云搜索服务指标详情
火山引擎 ESCloud 云搜索服务监控指标¶
火山引擎 ESCloud 指标位于 volcengine_VCM_ESCloud 指标集下，这里介绍相关指标说明
MetricName |
Subnamespace |
指标名称 | MetricUnit | Dimension |
|---|---|---|---|---|
ActivePrimaryShardNumber |
cluster |
主分片数量 | Count | ResourceID |
ActiveShardNumber |
cluster |
活跃分片数量 | Count | ResourceID |
AvgDiskUsagePercent |
total |
集群磁盘平均使用率 | Percent | ResourceID |
AvgJvmUsage |
total |
集群jvm平均使用率 | Percent | ResourceID |
DeletedDocumentRate |
operation |
Delete文档频度 | None | ResourceID |
DiskUsagePercent |
resource |
节点磁盘使用率 | Percent | ResourceID,Node |
FielddataMemorySize |
cluster |
Fielddata内存用量 | Bytes | ResourceID,Node |
FsIoTotalReadBytes |
resource |
节点磁盘读带宽 | Bytes/Second | ResourceID,Node |
FsIoTotalWriteBytes |
resource |
节点磁盘写带宽 | Bytes/Second | ResourceID,Node |
GreenIndexNumber |
cluster |
Green状态索引数量 | Count | ResourceID |
IndexOps |
operation |
Index操作OPS | None | ResourceID |
InitializingShardNumber |
cluster |
初始化中分片数量 | Count | ResourceID |
InstanceCapacityUsage |
total |
实例已用容量 | Percent | ResourceID |
InstanceDataNodeNumber |
total |
实例数据节点数 | Count | ResourceID |
InstanceHealthState |
total |
集群状态 | None | ResourceID |
InstanceIngestNodeNumber |
total |
实例Ingest角色节点数 | Count | ResourceID |
InstanceMasterNodeNumber |
total |
实例Master角色节点数 | Count | ResourceID |
InstanceMasterOnlyNodeNumber |
total |
实例专有主节点数 | Count | ResourceID |
InstanceStorageUsedBytes |
total |
实例存储用量大小 | Bytes | ResourceID |
JvmUsage |
resource |
节点JVM使用率 | Percent | ResourceID,Node |
MaxCpuUsage |
total |
CPU最大使用率 | Percent | ResourceID |
MaxDiskUsagePercent |
total |
集群磁盘最大使用率 | Percent | ResourceID |
MaxJvmUsage |
total |
集群jvm最大使用率 | Percent | ResourceID |
MeanCpuUsage |
total |
CPU平均使用率 | Percent | ResourceID |
MergeOps |
operation |
Merge操作OPS | None | ResourceID |
NodeCpuUsage |
resource |
节点CPU使用率 | Percent | ResourceID,Node |
NodeDiskReadIOPS |
resource |
节点磁盘读IOPS | Count/Second | ResourceID,Node |
NodeFsIops |
resource |
节点数据目录IOPS | None | ResourceID,Node |
NodeHttpConnections |
resource |
节点HTTP连接数 | Count | ResourceID,Node |
NodeWriteIOPS |
resource |
节点磁盘写IOPS | Count/Second | ResourceID,Node |
OldGcCountPerMin |
resource |
老年代每分钟GC数量 | None | ResourceID,Node |
QueryOps |
operation |
Query操作OPS | None | ResourceID |
ReadOnlyIndexNumber |
cluster |
只读索引数量 | Count | ResourceID |
RedIndexNumber |
total |
Red状态索引数量 | None | ResourceID |
RelocatingShardNumber |
cluster |
搬迁中分片数量 | None | ResourceID |
ReplicaShardNumber |
cluster |
副分片数量 | Count | ResourceID |
SearchLatency |
operation |
查询时延 | Second | ResourceID |
SearchSuccessRatio |
operation |
搜索成功率 | Percent | ResourceID |
BulkSuccessRatio |
operation |
Bulk成功率 | Percent | ResourceID |
ThreadPoolFlushRejected |
cluster |
已拒绝Flush任务数 | Count | ResourceID,Node |
ThreadPoolForceMergeQueue |
cluster |
队列中ForceMerge任务数 | Count | ResourceID,Node |
ThreadPoolForceMergeRejected |
cluster |
已拒绝ForceMerge任务数 | Count | ResourceID,Node |
TotalDocumentNumber |
total |
总文档数 | Count | ResourceID |
TotalIndexNumber |
total |
总索引数 | Count | ResourceID |
TotalPendingTasks |
cluster |
总待办任务数量 | Count | ResourceID |
TotalShardNumber |
total |
总分片数 | Count | ResourceID |
UnsignedShardNumber |
cluster |
未分配分片数量 | Count | ResourceID |
YellowIndexNumber |
cluster |
Yellow状态索引数量 | Count | ResourceID |
YoungGcCountPerMin |
resource |
年轻代每分钟GC数量 | None | ResourceID,Node |
对象¶
采集到的火山引擎 ESCloud 对象数据结构, 可以从「基础设施 - 资源目录」里看到对象数据
{
"measurement": "volcengine_es_cloud",
"tags": {
"InstanceId" : "o-0089apbhxxx",
"RegionId" : "cn-guangzhou",
"Status" : "Running",
"ESEip" : "118.145.xxx.xxx",
"UserId" : "2102598885",
"ESEipId" : "eip-11vuua67wc3r440yrhczl0xxx",
"KibanaEipId" : "'\'",
"KibanaPublicDomain" : "'\'",
"CerebroPublicDomain" : "'\'",
"KibanaPrivateDomain" : "https://visual-o-xxxxxapbhpvmd.escloud.ivolces.com:5601",
"CerebroPrivateDomain" : "'\'",
"CerebroEnabled" : "True",
"EnableESPublicNetwork" : "True",
"EnableESPrivateNetwork" : "vpc-13fpvlahzboxsxxxxxxxxxx",
"EnableKibanaPublicNetwork" : "True",
"EnableKibanaPrivateNetwork" : "True",
"EnableESPrivateDomainPublic" : "False",
"EnableKibanaPrivateDomainPublic" : "False",
},
"fileds": {
"TotalNodes": "4",
"ChargeEnabled": "True",
"DeletionProtection": "True",
"CreateTime": "2025-05-06T09:39:50+08:00",
"ExpireDate": "'\'",
"KibanaConfig": "'\'",
"ResourceTags": "[]",
"SubInstances": "[]",
"TransferInfo": "{}",
"MaintenanceDay": "[\"MONDAY\", \"TUESDAY\", \"WEDNESDAY\", \"THURSDAY\", \"FRIDAY\", \"SATURDAY\", \"SUNDAY\"",
"ESPublicEndpoint": "https://elasticsearch-o-xxxxxxapbhpvmd.escloud.volces.com:9200",
"ESPrivateEndpoint": "https://elasticsearch-o-xxxxxapbhpvmd.escloud.ivolces.com:9200",
"ESPublicIpWhitelist": "127.0.0.1",
"ESPrivateIpWhitelist": "0.0.0.0/0",
"InstanceConfiguration": "{Json数据}",
"KibanaPublicIpWhitelist": "'\'",
"KibanaPrivateIpWhitelist": "0.0.0.0/0"
}
}