采集器「AWS-Kinesis」配置手册¶

阅读本文前，请先阅读：

云集成

Tip

使用本采集器前，必须安装「集成 Core 核心包」及其配套的第三方依赖包

1. 配置结构¶

本采集器配置结构如下：

字段	类型	是否必须	说明
`regions`	list	必须	所需采集的地域列表
`regions[#]`	str	必须	地域 ID。如：`'cn-north-1'` 总表见附录

2. 配置示例¶

采集北京地域的实例数据

collector_configs = {
    'regions': ['cn-north-1' ]
}

配置过滤器（可选项）¶

本采集器脚本支持用户自定义过滤器，让用户通过对象属性筛选出目标资源。过滤器函数返回值为 True｜False

True：目标资源需要被采集。
False 目标资源不需要被采集

# 示例：开启过滤器，根据对象的 StreamName 属性过滤，配置格式如下：
def filter_instance(instance):

    # return True
    if instance in ['xxx'] or instance in ['yyy']:
        return True
    return False


@DFF.API('AWS-Kinesis Collection', timeout=3600, fixed_crontab='* * * * *')
def run():
    Runner(main.DataCollector(account, collector_configs, filters=[filter_instance])).run()

3. 数据上报格式¶

数据正常同步后，可以在观测云的「基础设施-资源目录」中查看数据。

上报的数据示例如下：

{
  "measurement": "aws_kinesis",
  "tags": {
    "EncryptionType"      : "NONE",
    "HasMoreShards"       : "false",
    "RetentionPeriodHours": "24",
    "StreamARN"           : "arn:xxx1",
    "StreamName"          : "zsh_test",
    "StreamStatus"        : "ACTIVE",
    "name"                : "zsh_test"
  },
  "fields": {
    "Shards" : "{数据流分片信息}",
    "message": "{实例 JSON 数据}"
  }
}

Note

tags、fields 中的字段可能会随后续更新有所变动

4. IAM 策略权限¶

Note

如果用户使用带入 IAM 角色的方式采集资源，需要开启一定的操作权限

该采集器需要以下权限：

kinesis:ListStreams

kinesis:DescribeStream

X. 附录¶

请参考 AWS 官方文档：