采集器「火山引擎-ES-CLOUD」配置手册¶

阅读本文前，请先阅读：

云集成

Tip

使用本采集器前，必须安装「集成 Core 核心包」及其配套的第三方依赖包

1. 配置结构¶

本采集器配置结构如下：

字段	类型	是否必须	说明
`regions`	list	必须	所需采集的地域列表
`regions[#]`	str	必须	地域 ID。如：`'cn-shanghai'` 总表见附录

2. 配置示例¶

指定地域¶

采集北京地域的数据

collector_configs = {
    'regions': [ 'cn-beijing' ]
}

配置过滤器（可选项）¶

本采集器脚本支持用户自定义过滤器，让用户通过对象属性筛选出目标资源。过滤器函数返回值为 True｜False

True：目标资源需要被采集。
False：目标资源不需要被采集

支持筛选的对象属性：

属性	描述
InstanceId	实例 ID
InstanceName	实例名称
Status	状态
UserId	用户 ID
ClusterId	实例所属集群的 ID

# 示例：开启过滤器，根据对象的 InstanceId 和 name 属性过滤，配置格式如下：
def filter_instance(instance):
    '''
    采集 instance_id 为 xxxxx 或者 instance_name 为 xxxxx 的实例
    '''
    # return True
    instance_id = instance['InstanceId']
    instance_name = instance['name']
    if instance_id in ['xxxxx'] or instance_name in ['xxxxx']:
        return True
    return False


###### Do not modify the following contents #####
from integration_core__runner import Runner
import integration_volcengine_es_cloud__main as main


@DFF.API('Volcengine-ES-Cloud Collection', timeout=3600, fixed_crontab='*/15 * * * *')
def run():
    Runner(main.DataCollector(account, collector_configs, filters=[filter_instance])).run()

3. 数据上报格式¶

数据正常同步后，可以在观测云的「基础设施-资源目录」中查看数据。

上报的数据示例如下：

name="__codelineno-2-1">{ "measurement": "volcengine_es_cloud", "tags": { "CerebroEnabled": "False", "CerebroPrivateDomain": "", "CerebroPublicDomain": "", "ClusterId": "xxx", "ESEipId": "", "ESEip": "xxx", "EnableESPrivateDomainPublic": "False", "EnableESPrivateNetwork": "True", "EnableESPublicNetwork": "False", "EnableKibanaPublicNetwork": "", "EnableKibanaPrivateNetwork": "", "EnableKibanaPrivateDomainPublic": "False", "InstanceId": "o-xxx", "KibanaEip": "", "KibanaEipId": "", "KibanaPrivateDomain": "https://visual-xxxx:5601", "KibanaPublicDomain": "", "RegionId": "cn-beijing", "Status": "Running", "UserId": "2100xxx", "name": "o-xxxx" }, "fields": { "TotalNodes": "2", "ChargeEnabled": "True", "DeletionProtection": "False", "CreateTime": "2024-04-03T15:17:41+08:00", "ESPrivateEndpoint": "https://xxxx", "ESPrivateIpWhitelist": "", "ESPublicEndpoint": "", "ESPublicIpWhitelist": "", "ExpireDate": "", "KibanaConfig": "{Kibana 参数配置}", "KibanaPrivateIpWhitelist": "", "KibanaPublicIpWhitelist": "", "MaintenanceDay": "[实例的可维护日期]", "ResourceTags": "[实例的标签信息]", "SubInstances": "[企业级 SQL 分析实例配置信息]", "TransferInfo": "{数据迁移任务信息}", "InstanceConfiguration": "{实例配置详情信息。}", "message": "{实例 JSON 数据}" } }

Note

tags、fields 中的字段可能会随后续更新有所变动

Tip

tags.name 值为实例 ID，作为唯一标识，fields.message、fields.KibanaConfig、fields.MaintenanceDay、fields.ResourceTags、fields.InstanceConfiguration 均为 JSON 序列化后字符串

X. 附录¶

请参考火山引擎官方文档：