AWS Firehose¶
AWS Firehose のメトリクス情報を収集します
設定¶
Func のインストール¶
Guance のインテグレーション - 拡張機能 - ホステッド Func の有効化を推奨します。前提条件はすべて自動的にインストールされるため、そのままスクリプトのインストールに進んでください。
Func を自身でデプロイする場合は、セルフホスト Func を参照してください。
スクリプトのインストール¶
ヒント: 要件を満たす Amazon AK を事前に用意してください(簡単にするため、グローバルの読み取り専用権限
ReadOnlyAccessを直接付与しても構いません)
マネージド版のスクリプト有効化¶
- Guanceコンソールにログインします
- [統合] メニューをクリックし、[クラウドアカウント管理] を選択します
- [クラウドアカウントを追加] をクリックし、[AWS] を選択して画面に必要な情報を入力します。以前にクラウドアカウント情報を設定済みの場合は、この手順をスキップしてください
- [テスト] をクリックし、成功したら [保存] をクリックします。失敗した場合は、関連設定が正しいか確認して再度テストしてください
- [クラウドアカウント管理] の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
- クラウドアカウント詳細ページの【統合】ボタンをクリックし、
未インストールリストからAWS Firehoseを見つけて【インストール】ボタンをクリックすると、インストール画面が表示されます。そのままインストールしてください。
手動でのスクリプト有効化¶
-
Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットに入り、
aws_firehoseを検索します -
[インストール] をクリックし、対応するパラメータとして AWS AK ID、AK Secret、アカウント名を入力します
-
[起動スクリプトをデプロイ] をクリックすると、システムが自動的に
Startupスクリプトセットを作成し、対応する起動スクリプトを自動設定します -
有効化後、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。[実行] をクリックすると、定期実行を待たずにすぐ 1 回実行できます。少し待ってから、実行タスクの記録と対応するログを確認してください
検証¶
- [管理 / 自動トリガー設定]で、対象タスクの自動トリガー設定が存在することを確認し、タスク履歴とログに異常がないか確認します。
- Guance の[インフラストラクチャ / カスタム]で、アセット情報が存在するか確認します。
- Guance の[メトリクス]で、対応する監視データが存在するか確認します。
メトリクス¶
Amazon CloudWatch の監視を設定すると、デフォルトのメトリクスセットは次のとおりです。設定により、さらに多くのメトリクスを収集できます。
Amazon CloudWatch の AWS Firehose メトリクス詳細
AWS Firehose¶
配信ストリームの管理¶
| メトリクス | 説明 |
|---|---|
| DescribeDeliveryStream.Latency | DescribeDeliveryStream 操作の所要時間。統計:Minimum、Maximum、Average、Samples。単位:ミリ秒。 |
| DescribeDeliveryStream.Requests | DescribeDeliveryStream リクエスト数。統計:Minimum、Maximum、Average、Sum、Samples。単位:カウント。 |
| ListDeliveryStreams.Latency | ListDeliveryStreams 操作の所要時間。統計:Minimum、Maximum、Average、Samples。単位:ミリ秒。 |
| ListDeliveryStreams.Requests | ListDeliveryStreams リクエスト数。統計:Minimum、Maximum、Average、Sum、Samples。単位:カウント。 |
データの書き込み¶
| メトリクス | 説明 |
|---|---|
| PutRecordBatch.Bytes | PutRecordBatch によって配信ストリームに書き込んだバイト数。統計:Minimum、Maximum、Average、Sum、Samples。単位:バイト。 |
| PutRecordBatch.Latency | PutRecordBatch 操作の所要時間。統計:Minimum、Maximum、Average、Samples。単位:ミリ秒。 |
Amazon Redshift への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToRedshift.Bytes | 指定期間内に Amazon Redshift に複製されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToRedshift.Records | 指定期間内に Amazon Redshift に複製されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToRedshift.Success | 成功した Amazon Redshift COPY コマンドの合計。 |
Amazon S3 への配信(主要送信先)¶
| メトリクス | 説明 |
|---|---|
| DeliveryToS3.Bytes | 指定期間内に Amazon S3 に配信されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より古いレコードは S3 バケットに配信されています。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToS3.Records | 指定期間内に Amazon S3 に配信されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToS3.Success | 成功した Amazon S3 put コマンドの合計。 |
| BackupToS3.Bytes | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します(データ変換も同時に有効化されている場合のみ可能です)。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| BackupToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より前のレコードはすべて、バックアップのために Amazon S3 バケットへ配信されています。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します(データ変換も同時に有効化されている場合のみ可能です)。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| BackupToS3.Records | 指定期間内にバックアップとして Amazon S3 に配信されたレコード数。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します(データ変換も同時に有効化されている場合のみ可能です)。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| BackupToS3.Success | 成功した Amazon S3 のバックアップ put コマンドの合計。バックアップを有効化すると、Amazon Data Firehose はこのメトリクスを発行します(データ変換も同時に有効化されている場合のみ可能です)。 |
Snowflake への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToSnowflake.Bytes | 指定期間内に Snowflake に配信されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToSnowflake.DataFreshness | Firehose 内で最も古いレコードの経過時間(Firehose に入ってから現在まで)。この時間より古いレコードはすべて Snowflake に配信されています。Firehose の挿入呼び出しが成功してから、データが Snowflake にコミットされるまで数秒かかる場合があります。Snowflake へのデータコミットに必要な時間については、DeliveryToSnowflake.DataCommitLatency メトリクスを参照してください。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToSnowflake.DataCommitLatency | Firehose がレコードの挿入に成功してから、データを Snowflake にコミットするまでに要する時間。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToSnowflake.Records | 指定期間内に Snowflake に配信されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToSnowflake.Success | Snowflake に対する成功した挿入呼び出しの合計。 |
| DeliveryToS3.Bytes (Snowflake 失敗バックアップ) | 指定期間内に Amazon S3 に配信されたバイト数。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToS3.Records (Snowflake 失敗バックアップ) | 指定期間内に Amazon S3 に配信されたレコード数。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToS3.Success (Snowflake 失敗バックアップ) | 成功した Amazon S3 の put コマンドの合計。Snowflake への配信に失敗し、Firehose が失敗データを S3 にバックアップしようとした場合のみ、このメトリクスが利用可能です。 |
| BackupToS3.DataFreshness (Snowflake フルバックアップ) | Firehose 内で最も古いレコードの経過時間(Firehose に入ってから現在まで)。この経過時間より前のレコードはすべて Amazon S3 バケットにバックアップされています。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| BackupToS3.Records (Snowflake フルバックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたレコード数。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| BackupToS3.Bytes (Snowflake フルバックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、このメトリクスが利用可能です。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| BackupToS3.Success (Snowflake フルバックアップ) | 成功した Amazon S3 のバックアップ put コマンドの合計。Firehose ストリームがすべてのデータをバックアップするように設定されている場合、Firehose はこのメトリクスを発行します。 |
Splunk への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToSplunk.Bytes | 指定期間内に Splunk に配信されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToSplunk.DataAckLatency | Amazon Data Firehose が Splunk にデータを送信してから、Splunk が確認応答を返すまでのおおよその時間です。このメトリクスは、絶対的な近似値よりも増減の傾向のほうが有用です。増加傾向は、Splunk インデクサーのインデックス作成と確認応答が遅いことを示している可能性があります。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToSplunk.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より古いレコードはすべて Splunk に配信されています。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToSplunk.Records | 指定期間内に Splunk に配信されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToSplunk.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToS3.Success (Splunk バックアップ) | 成功した Amazon S3 の put コマンドの合計。Amazon S3 へのバックアップを有効にすると、このメトリクスが発行されます。 |
| BackupToS3.Bytes (Splunk バックアップ) | 指定期間内にバックアップとして Amazon S3 に配信されたバイト数。Firehose ストリームがすべてのドキュメントをバックアップするように設定されている場合、Amazon Data Firehose はこのメトリクスを発行します。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
HTTP エンドポイントへの配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToHttpEndpoint.Bytes | HTTP エンドポイントへの正常な配信バイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToHttpEndpoint.Records | HTTP エンドポイントへの正常な配信レコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToHttpEndpoint.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間。統計データ:Minimum、Maximum、Average、Samples。単位:秒 |
| DeliveryToHttpEndpoint.Success | HTTP エンドポイントへのデータ配信に成功したすべてのリクエストの合計。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToHttpEndpoint.ProcessedBytes | 再試行を含む、処理を試行したバイト数。 |
| DeliveryToHttpEndpoint.ProcessedRecords | 再試行を含む、試行したレコード数。 |
OpenSearch Service への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToAmazonOpenSearchService.Bytes | 指定期間内に OpenSearch Service にインデックス化されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToAmazonOpenSearchService.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より前のレコードはすべて OpenSearch Service に配信されています。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:秒 |
| DeliveryToAmazonOpenSearchService.Records | 指定期間内に OpenSearch Service にインデックス化されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToAmazonOpenSearchService.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToAmazonOpenSearchService.AuthFailure | Authentication/authorization error. OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は認証失敗を示します。 |
| DeliveryToAmazonOpenSearchService.DeliveryRejected | 配信拒否エラー。OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は配信失敗を示します。 |
Amazon S3¶
| メトリクス | 説明 |
|---|---|
| DeliveryToS3.Bytes | 指定期間内に Amazon S3 に配信されたバイト数。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToS3.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より古いレコードはすべて S3 バケットに配信されています。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。単位:秒 |
| DeliveryToS3.Records | 指定期間内に Amazon S3 に配信されたレコード数。すべてのドキュメントのバックアップを有効にした場合のみ、Amazon Data Firehose はこのメトリクスを発行します。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToS3.Success | 成功した Amazon S3 の put コマンドの合計。失敗したドキュメントのみをバックアップする場合でも、すべてのドキュメントをバックアップする場合でも、Amazon Data Firehose は常にこのメトリクスを発行します。 |
OpenSearch Serverless への配信¶
| メトリクス | 説明 |
|---|---|
| DeliveryToAmazonOpenSearchServerless.Bytes | 指定期間内に OpenSearch Serverless にインデックス化されたバイト数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:バイト |
| DeliveryToAmazonOpenSearchServerless.DataFreshness | Amazon Data Firehose 内で最も古いレコードの経過時間(Amazon Data Firehose に入ってから現在まで)。この経過時間より古いレコードはすべて OpenSearch Serverless に配信されています。単位:秒 |
| DeliveryToAmazonOpenSearchServerless.Records | 指定期間内に OpenSearch Serverless にインデックス化されたレコード数。統計データ:Minimum、Maximum、Average、Sum、Samples。単位:カウント |
| DeliveryToAmazonOpenSearchServerless.Success | 正常にインデックス化されたレコードの合計。 |
| DeliveryToAmazonOpenSearchServerless.AuthFailure | Authentication/authorization error. OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は認証失敗を示します。 |
| DeliveryToAmazonOpenSearchServerless.DeliveryRejected | 配信拒否エラー。OS/ES クラスターのポリシーとロール権限を確認してください。0 は問題なし、1 は配信失敗を示します。 |