AWS Firehose¶
AWS Firehose のメトリクス情報を収集します
設定¶
Func のインストール¶
Guance の統合 - 拡張 - マネージド版 Func を有効化することを推奨します。前提条件はすべて自動でインストールされるため、そのままスクリプトのインストールに進んでください。
Func を自前でデプロイする場合は、Func を自前でデプロイする を参照してください
スクリプトのインストール¶
ヒント：要件を満たす Amazon AK を事前に用意してください。簡単のため、全体の読み取り専用権限
ReadOnlyAccessを直接付与してもかまいません。
マネージド版の有効化スクリプト¶
- Guance コンソールにログインします
- 【統合】メニューをクリックし、【クラウドアカウント管理】を選択します
- 【クラウドアカウントの追加】をクリックして【AWS】を選択し、画面に必要な情報を入力します。すでにクラウドアカウント情報を設定済みの場合は、この手順は不要です
- 【テスト】をクリックし、成功したら【保存】をクリックします。テストに失敗した場合は、関連設定が正しいか確認してから再度テストしてください
- 【クラウドアカウント管理】の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
- クラウドアカウント詳細ページの【統合】ボタンをクリックし、
未インストールリストからAWS Firehoseを見つけて【インストール】ボタンをクリックすると、インストール画面が表示されます。そのままインストールしてください。
手動有効化スクリプト¶
-
Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットに入り、
aws_firehoseを検索します -
【インストール】をクリックし、必要なパラメータとして AWS AK ID、AK Secret、およびアカウント名を入力します。
-
【起動スクリプトをデプロイ】をクリックすると、システムが自動的に
Startupスクリプトセットを作成し、対応する起動スクリプトを自動設定します。 -
有効化後、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。【実行】をクリックすると、定期実行を待たずにすぐ 1 回実行できます。少し待ってから、実行タスクの記録と対応するログを確認できます。
検証¶
- 「管理 / 自動トリガー設定」で、対応するタスクに自動トリガー設定が存在するか確認し、あわせてタスク記録とログを確認して異常がないかチェックします
- Guance の「インフラ / カスタム」で資産情報が存在するか確認します
- Guance の「メトリクス」で対応する監視データがあるか確認します
メトリクス¶
Amazon CloudWatch の監視を設定すると、デフォルトのメトリクスセットは次のとおりです。設定により、さらに多くのメトリクスを収集できます。
Amazon CloudWatch の AWS Firehose メトリクス詳細
AWS Firehose¶
Amazon Redshift への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToRedshift.Bytes | 指定期間内に Amazon Redshift に複製されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToRedshift.Records | 指定期間内に Amazon Redshift に複製されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToRedshift.Success | 成功した Amazon Redshift COPY コマンドの合計。 |
Amazon S3 への配信（主要送信先）¶
| メトリクス | 説明 |
|---|---|
| DeliveryToS3.Bytes | 指定期間内に Amazon S3 に配信されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より古いレコードは S3 バケットに配信されています。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToS3.Records | 指定期間内に Amazon S3 に配信されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToS3.Success | 成功した Amazon S3 put コマンドの合計。 |
| BackupToS3.Bytes | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します（データ変換も同時に有効化されている場合のみ可能です）。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| BackupToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より前のレコードはすべて、バックアップのために Amazon S3 バケットへ配信されています。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します（データ変換も同時に有効化されている場合のみ可能です）。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| BackupToS3.Records | 指定期間内にバックアップとして Amazon S3 に配信されたレコード数。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します（データ変換も同時に有効化されている場合のみ可能です）。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| BackupToS3.Success | 成功した Amazon S3 のバックアップ put コマンドの合計。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します（データ変換も同時に有効化されている場合のみ可能です）。 |
Snowflake への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToSnowflake.Bytes | 指定期間内に Snowflake に配信されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToSnowflake.DataFreshness | Firehose 内で最も古いレコードの経過時間（Firehose に入ってから現在まで）。この時間より古いレコードはすべて Snowflake に配信されています。Firehose の挿入呼び出しが成功してから、データが Snowflake にコミットされるまで数秒かかる場合があります。Snowflake へのデータコミットに必要な時間については、DeliveryToSnowflake.DataCommitLatency メトリクスを参照してください。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToSnowflake.DataCommitLatency | Firehose がレコードの挿入に成功してから、データを Snowflake にコミットするまでに要する時間。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToSnowflake.Records | 指定期間内に Snowflake に配信されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToSnowflake.Success | Snowflake に対する成功した挿入呼び出しの合計。 |
| DeliveryToS3.Bytes (Snowflake 失敗バックアップ) | 指定期間内に Amazon S3 に配信されたバイト数。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToS3.Records (Snowflake 失敗バックアップ) | 指定期間内に Amazon S3 に配信されたレコード数。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToS3.Success (Snowflake 失敗バックアップ) | 成功した Amazon S3 の put コマンドの合計。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。 |
| BackupToS3.DataFreshness (Snowflake フルバックアップ) | Firehose 内で最も古いレコードの経過時間（Firehose に入ってから現在まで）。この経過時間より前のレコードはすべて Amazon S3 バケットにバックアップされています。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| BackupToS3.Records (Snowflake フルバックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたレコード数。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| BackupToS3.Bytes (Snowflake フルバックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| BackupToS3.Success (Snowflake フルバックアップ) | 成功した Amazon S3 のバックアップ put コマンドの合計。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、Firehose はこのメトリクスを発行します。 |
Splunk への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToSplunk.Bytes | 指定期間内に Splunk に配信されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToSplunk.DataAckLatency | Amazon Data Firehose が Splunk にデータを送信してから、Splunk が確認応答を返すまでのおおよその時間です。このメトリクスは、絶対的な近似値よりも増減の傾向のほうが有用です。増加傾向は、Splunk インデクサーのインデックス作成と確認応答が遅いことを示している可能性があります。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToSplunk.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より古いレコードはすべて Splunk に配信されています。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToSplunk.Records | 指定期間内に Splunk に配信されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToSplunk.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToS3.Success (Splunk バックアップ) | 成功した Amazon S3 の put コマンドの合計。Amazon S3 へのバックアップを有効にすると、このメトリクスが発行されます。 |
| BackupToS3.Bytes (Splunk バックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。Firehose ストリームがすべてのドキュメントをバックアップするように設定されている場合、Amazon Data Firehose はこのメトリクスを発行します。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
HTTP エンドポイントへの配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToHttpEndpoint.Bytes | HTTP エンドポイントへの正常な配信バイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToHttpEndpoint.Records | HTTP エンドポイントへの正常な配信レコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToHttpEndpoint.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間。統計データ：Minimum、Maximum、Average、Samples。単位：秒 |
| DeliveryToHttpEndpoint.Success | HTTP エンドポイントへのデータ配信に成功したすべてのリクエストの合計。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToHttpEndpoint.ProcessedBytes | 再試行を含む、処理を試行したバイト数。 |
| DeliveryToHttpEndpoint.ProcessedRecords | 再試行を含む、試行したレコード数。 |
OpenSearch Service への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToAmazonOpenSearchService.Bytes | 指定期間内に OpenSearch Service にインデックス化されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToAmazonOpenSearchService.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より前のレコードはすべて OpenSearch Service に配信されています。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：秒 |
| DeliveryToAmazonOpenSearchService.Records | 指定期間内に OpenSearch Service にインデックス化されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToAmazonOpenSearchService.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToAmazonOpenSearchService.AuthFailure | Authentication/authorization error. OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は認証失敗を示します。 |
| DeliveryToAmazonOpenSearchService.DeliveryRejected | 配信拒否エラー。OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は配信失敗を示します。 |
Amazon S3¶
| メトリクス | 説明 |
|---|---|
| DeliveryToS3.Bytes | 指定期間内に Amazon S3 に配信されたバイト数。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より古いレコードはすべて S3 バケットに配信されています。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。単位：秒 |
| DeliveryToS3.Records | 指定期間内に Amazon S3 に配信されたレコード数。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToS3.Success | 成功した Amazon S3 の put コマンドの合計。失敗したドキュメントのみをバックアップする場合でも、すべてのドキュメントをバックアップする場合でも、Amazon Data Firehose は常にこのメトリクスを発行します。 |
OpenSearch Serverless への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToAmazonOpenSearchServerless.Bytes | 指定期間内に OpenSearch Serverless にインデックス化されたバイト数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：バイト |
| DeliveryToAmazonOpenSearchServerless.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間（Amazon Data Firehose に入ってから現在まで）。この経過時間より古いレコードはすべて OpenSearch Serverless に配信されています。単位：秒 |
| DeliveryToAmazonOpenSearchServerless.Records | 指定期間内に OpenSearch Serverless にインデックス化されたレコード数。統計データ：Minimum、Maximum、Average、Sum、Samples。単位：カウント |
| DeliveryToAmazonOpenSearchServerless.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToAmazonOpenSearchServerless.AuthFailure | Authentication/authorization error. OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は認証失敗を示します。 |
| DeliveryToAmazonOpenSearchServerless.DeliveryRejected | 配信拒否エラー。OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は配信失敗を示します。 |