AWS Firehose
采集 AWS Firehose 指标信息
配置
安装 Func
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
安装脚本
提示：请提前准备好符合要求的亚马逊 AK（简单起见，可直接授予全局只读权限ReadOnlyAccess）
托管版开通脚本
- 登陆观测云控制台
- 点击【集成】菜单，选择【云帐号管理】
- 点击【添加云帐号】，选择【AWS】，填写界面所需的信息，如之前已配置过云帐号信息，则忽略此步骤
- 点击【测试】，测试成功后点击【保存】，如果测试失败，请检查相关配置信息是否正确，并重新测试
- 点击【云帐号管理】列表上可以看到已添加的云账号，点击相应的云帐号，进入详情页
- 点击云帐号详情页的【集成】按钮，在
未安装列表下，找到AWS Firehose，点击【安装】按钮，弹出安装界面安装即可。
手动开通脚本
-
登陆Func 控制台，点击【脚本市场】，进入观测云脚本市场，搜索 aws_firehose
-
点击【安装】后，输入相应的参数：AWS AK ID 、AK Secret 及账户名。
-
点击【部署启动脚本】，系统会自动创建 Startup 脚本集，并自动配置相应的启动脚本。
-
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志。
验证
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
- 在观测云，「基础设施 / 自定义」中查看是否存在资产信息
- 在观测云，「指标」查看是否有对应监控数据
指标
配置好亚马逊-云监控,默认的指标集如下.可以通过配置的方式采集更多的指标:
亚马逊云监控 AWS Firehose 指标详情
AWS Firehose
传输流管理
| 指标 |
描述 |
| DescribeDeliveryStream.Latency |
DescribeDeliveryStream 操作耗时。统计数据：Minimum、Maximum、Average、Samples。单位：毫秒 |
| DescribeDeliveryStream.Requests |
DescribeDeliveryStream 请求次数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| ListDeliveryStreams.Latency |
ListDeliveryStreams 操作耗时。统计数据：Minimum、Maximum、Average、Samples。单位：毫秒 |
| ListDeliveryStreams.Requests |
列举传输流的请求次数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
数据写入
| 指标 |
描述 |
| PutRecordBatch.Bytes |
通过 PutRecordBatch 写入传输流的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| PutRecordBatch.Latency |
PutRecordBatch 操作耗时。统计数据：Minimum、Maximum、Average、Samples。单位：毫秒 |
传输到 Amazon Redshift
| 指标 |
描述 |
| DeliveryToRedshift.Bytes |
在指定时间段内复制到 Amazon Redshift 的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToRedshift.Records |
在指定时间段内复制到 Amazon Redshift 的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToRedshift.Success |
成功 Amazon Redshift COPY 命令的总和。 |
传输到 Amazon S3（主要目的地）
| 指标 |
描述 |
| DeliveryToS3.Bytes |
在指定时间段内传输到 Amazon S3 的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToS3.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToS3.Records |
在指定时间段内传输到 Amazon S3 的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToS3.Success |
成功 Amazon S3 put 命令的总和。 |
| BackupToS3.Bytes |
在指定时间段内传输到 Amazon S3 进行备份的字节数。启用备份后，Amazon Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| BackupToS3.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何早于此期限的记录均已传输到 Amazon S3 存储桶进行备份。启用备份后，Amazon Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| BackupToS3.Records |
在指定时间段内传输到 Amazon S3 进行备份的记录数。启用备份后，Amazon Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| BackupToS3.Success |
成功的 Amazon S3 备份 put 命令的总和。启用备份后，Amazon Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。 |
传输到 Snowflake
| 指标 |
描述 |
| DeliveryToSnowflake.Bytes |
在指定时段内传输到 Snowflake 的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToSnowflake.DataFreshness |
Firehose 中最早记录的期限（从进入 Firehose 到现在）。任何大于此时间的记录已传输到 Snowflake。请注意，在 Firehose 插入调用成功后，可能需要几秒钟才能将数据提交给 Snowflake。有关向 Snowflake 提交数据所需的时间，请参阅 DeliveryToSnowflake.DataCommitLatency 指标。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToSnowflake.DataCommitLatency |
Firehose 成功插入记录后，将数据提交到 Snowflake 所需的时间。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToSnowflake.Records |
在指定时间段内传输到 Snowflake 的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToSnowflake.Success |
对 Snowflake 进行的成功插入调用的总和。 |
| DeliveryToS3.Bytes (Snowflake 失败备份) |
在指定时间段内传输到 Amazon S3 的字节数。仅当向 Snowflake 传输失败且 Firehose 尝试将失败的数据备份到 S3 时，此指标才可用。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToS3.Records (Snowflake 失败备份) |
在指定时间段内传输到 Amazon S3 的记录数。仅当向 Snowflake 传输失败且 Firehose 尝试将失败的数据备份到 S3 时，此指标才可用。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToS3.Success (Snowflake 失败备份) |
成功 Amazon S3 put 命令的总和。仅当向 Snowflake 传输失败且 Firehose 尝试将失败的数据备份到 S3 时，此指标才可用。 |
| BackupToS3.DataFreshness (Snowflake 全量备份) |
Firehose 中最早记录的期限（从进入 Firehose 到现在）。任何早于此期限的记录均已备份到 Amazon S3 存储桶。当 Firehose 流配置为备份所有数据时，此指标可用。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| BackupToS3.Records (Snowflake 全量备份) |
在指定时间段内传输到 Amazon S3 进行备份的记录数。当 Firehose 流配置为备份所有数据时，此指标可用。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| BackupToS3.Bytes (Snowflake 全量备份) |
在指定时间段内传输到 Amazon S3 进行备份的字节数。当 Firehose 流配置为备份所有数据时，此指标可用。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| BackupToS3.Success (Snowflake 全量备份) |
成功的 Amazon S3 备份 put 命令的总和。当 Firehose 流配置为备份所有数据时，Firehose 会发出此指标。 |
传输到 Splunk
| 指标 |
描述 |
| DeliveryToSplunk.Bytes |
在指定时段内传送到 Splunk 的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToSplunk.DataAckLatency |
Amazon Data Firehose 向 Splunk 发送数据后，从 Splunk 接收确认所需的大致时间。此指标的增加或减少趋势比绝对近似值更有用。增长趋势可能表明 Splunk 索引器的索引和确认速度较慢。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToSplunk.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何大于此年龄的记录已传送到 Splunk。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToSplunk.Records |
在指定时段内传送到 Splunk 的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToSplunk.Success |
已成功编制索引的记录的总和。 |
| DeliveryToS3.Success (Splunk 备份) |
成功 Amazon S3 put 命令的总和。启用备份到 Amazon S3 时，将发出此指标。 |
| BackupToS3.Bytes (Splunk 备份) |
在指定时间段内传输到 Amazon S3 进行备份的字节数。当 Firehose 流配置为备份所有文档时，Amazon Data Firehose 会发出此指标。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
传输到 HTTP 端点
| 指标 |
描述 |
| DeliveryToHttpEndpoint.Bytes |
成功传输到 HTTP 端点的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToHttpEndpoint.Records |
成功传输到 HTTP 端点的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToHttpEndpoint.DataFreshness |
Amazon Data Firehose 中最早记录的期限。统计数据：Minimum、Maximum、Average、Samples。单位：秒 |
| DeliveryToHttpEndpoint.Success |
向 HTTP 端点成功传输数据的所有请求的总和。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToHttpEndpoint.ProcessedBytes |
尝试处理的字节数，包括重试次数。 |
| DeliveryToHttpEndpoint.ProcessedRecords |
尝试的记录数，包括重试次数。 |
送货到 OpenSearch 服务
| 指标 |
描述 |
| DeliveryToAmazonOpenSearchService.Bytes |
在指定时间段内索引到 OpenSearch Service 的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToAmazonOpenSearchService.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何早于此期限的记录均已传输到 OpenSearch Service。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：秒 |
| DeliveryToAmazonOpenSearchService.Records |
在指定时间段内索引到 OpenSearch Service 的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToAmazonOpenSearchService.Success |
已成功编制索引的记录的总和。 |
| DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ES集群策略和角色权限。0 表示没有问题。1 表示身份验证失败。 |
| DeliveryToAmazonOpenSearchService.DeliveryRejected |
传输被拒绝错误。验证 OS/ES 集群策略和角色权限。0 表示没有问题。1 表示传输失败。 |
Amazon S3
| 指标 |
描述 |
| DeliveryToS3.Bytes |
在指定时间段内传输到 Amazon S3 的字节数。仅当您为所有文档启用备份后，Amazon Data Firehose 才会发出此指标。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToS3.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。仅当您为所有文档启用备份后，Amazon Data Firehose 才会发出此指标。单位：秒 |
| DeliveryToS3.Records |
在指定时间段内传输到 Amazon S3 的记录数。仅当您为所有文档启用备份后，Amazon Data Firehose 才会发出此指标。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToS3.Success |
成功 Amazon S3 put 命令的总和。无论是仅对失败的文档还是对所有文档启用备份，Amazon Data Firehose 始终会发出此指标。 |
传输到 OpenSearch无服务器
| 指标 |
描述 |
| DeliveryToAmazonOpenSearchServerless.Bytes |
在指定时间段内索引到 OpenSearch 无服务器的字节数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：字节 |
| DeliveryToAmazonOpenSearchServerless.DataFreshness |
Amazon Data Firehose 中最早记录的期限（从进入 Amazon Data Firehose 到现在）。任何早于此期限的记录均已传输到 OpenSearch Serverless。单位：秒 |
| DeliveryToAmazonOpenSearchServerless.Records |
在指定时间段内索引到 OpenSearch 无服务器的记录数。统计数据：Minimum、Maximum、Average、Sum、Samples。单位：计数 |
| DeliveryToAmazonOpenSearchServerless.Success |
已成功编制索引的记录的总和。 |
| DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ES集群策略和角色权限。0 表示没有问题。1 表示身份验证失败。 |
| DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
传输被拒绝错误。验证 OS/ES 集群策略和角色权限。0 表示没有问题。1 表示传输失败。 |