コンテンツにスキップ

AWS S3

スクリプトマーケットの「Guanceクラウド同期」シリーズのスクリプトパッケージを使って、クラウド監視・クラウド資産のデータをGuanceに同期します

設定

Func のインストール

Guance 統合 - 拡張 - ホスト版 Func の利用を推奨します。前提条件はすべて自動でインストールされるため、そのままスクリプトのインストールを続けてください

自分で Func をデプロイする場合はFunc を自分でデプロイするを参照してください

スクリプトのインストール

ヒント:要件を満たす Amazon AK を事前に用意してください(簡単のため、グローバル読み取り専用権限 ReadOnlyAccess を直接付与しても構いません)

ホスト版スクリプトの有効化

  1. Guance コンソールにログインします
  2. [統合] メニューをクリックし、[クラウドアカウント管理] を選択します
  3. [クラウドアカウントを追加] をクリックし、[AWS] を選択して画面に必要な情報を入力します。すでにクラウドアカウント情報を設定済みの場合は、この手順をスキップしてください
  4. [テスト] をクリックし、テスト成功後に [保存] をクリックします。テストに失敗した場合は、関連する設定が正しいか確認してから再度テストしてください
  5. [クラウドアカウント管理] 一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
  6. クラウドアカウント詳細ページの [統合] ボタンをクリックし、未インストール リストで AWS S3 を見つけて [インストール] ボタンをクリックすると、インストール画面が表示されます。そこでインストールしてください。

手動でスクリプトを有効化

  1. Func コンソールにログインし、[スクリプトマーケット] をクリックしてGuanceスクリプトマーケットに入り、integration_aws_s3 を検索します

  2. [インストール] をクリックした後、対応するパラメータを入力します。AWS AK ID、AK Secret、およびアカウント名です。

  3. [デプロイスタータースクリプト] をクリックすると、システムが自動で Startup スクリプトセットを作成し、対応する起動スクリプトを自動設定します。

  4. 有効化後は「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。[実行] をクリックすると、定期実行を待たずにすぐ 1 回実行できます。しばらくすると、実行タスクの履歴と対応するログを確認できます。

検証

  1. 「管理 / 自動トリガー設定」で該当タスクの自動トリガー設定が存在するか確認し、あわせて該当タスクの履歴とログを確認して異常がないかチェックします
  2. Guance の「インフラストラクチャ / カスタム」で資産情報が存在するか確認します
  3. Guance の「メトリクス」で対応する監視データがあるか確認します

指標

Amazon CloudWatch を設定すると、デフォルトのメトリクスセットは次のとおりです。設定によってより多くのメトリクスを収集できます。Amazon CloudWatch のメトリクス詳細

CloudWatch におけるバケットの Amazon S3 日次ストレージメトリクス

AWS/S3 名前空間には、バケットの次の日次ストレージメトリクスが含まれます。

メトリクス 説明
BucketSizeBytes 以下のストレージクラスに保存されているバケット内データ量(バイト単位):S3 Standard (STANDARD)、S3 Intelligent-Tiering (INTELLIGENT_TIERING)、S3 Standard-Infrequent Access (STANDARD_IA)、S3 OneZone-Infrequent Access (ONEZONE_IA)、低冗長ストレージ(RRS)(REDUCED_REDUNDANCY)、S3 Glacier Instant Retrieval (GLACIER_IR)、S3 Glacier Deep Archive (DEEP_ARCHIVE)、S3 Glacier Flexible Retrieval (GLACIER)。この値は、バケット内のすべてのオブジェクトとメタデータ(現在のオブジェクトと非現在のオブジェクト)のサイズを集計して算出されます。バケットへのマルチパートアップロードで未完了のすべてのパーツも含みます。有効なストレージタイプのフィルタ条件:StandardStorageIntelligentTieringFAStorageIntelligentTieringIAStorageIntelligentTieringAAStorageIntelligentTieringAIAStorageIntelligentTieringDAAStorageStandardIAStorageStandardIASizeOverheadStandardIAObjectOverheadOneZoneIAStorageOneZoneIASizeOverheadReducedRedundancyStorageGlacierInstantRetrievalSizeOverheadGlacierInstantRetrievalStorageGlacierStorageGlacierStagingStorageGlacierObjectOverheadGlacierS3ObjectOverheadDeepArchiveStorageDeepArchiveObjectOverheadDeepArchiveS3ObjectOverheadDeepArchiveStagingStorageStorageType ディメンションを参照)。単位:バイト。有効な統計:Average
NumberOfObjects バケットに保存されている、すべてのストレージクラスのオブジェクト総数。この値は、バケット内のすべてのオブジェクト(現在のオブジェクトと非現在のオブジェクトを含む)、削除マーカー、およびバケットへのマルチパートアップロードで未完了のすべてのパーツの総数を数えて算出されます。有効なストレージタイプのフィルタ条件:AllStorageTypesStorageType ディメンションを参照)。単位:件。有効な統計:Average

CloudWatch における Amazon S3 の CloudWatch リクエストメトリクス

AWS/S3 名前空間には、次のリクエストメトリクスが含まれます。これらのメトリクスには課金対象外のリクエストも含まれます(COPY と Replication に由来する GET リクエストを含む場合)。

メトリクス 説明
AllRequests Amazon S3 バケットに対して行われた HTTP リクエストの総数(種類は問わない)。特定のフィルタ条件に対してメトリクスを設定している場合、このメトリクスはそのフィルタ条件に一致する HTTP リクエストのみを返します。単位:件。有効な統計:Sum
GetRequests Amazon S3 バケット内のオブジェクトに対する HTTP GET リクエスト数。リスト操作は含みません。各 COPY オブジェクトリクエストの送信元に対して、このメトリクスは増加します。単位:件。有効な統計:Sum。注意:ページネーションを伴う一覧リクエスト(たとえば、マルチパートアップロードの一覧パートの一覧バケットオブジェクトバージョンの取得、その他のリクエスト)はこのメトリクスに含まれません。
PutRequests Amazon S3 バケット内のオブジェクトに対する HTTP PUT リクエスト数。各 COPY オブジェクトリクエストの送信先に対して、このメトリクスは増加します。単位:件。有効な統計:Sum
DeleteRequests Amazon S3 バケット内のオブジェクトに対する HTTP DELETE リクエスト数。このメトリクスには複数オブジェクトの削除リクエストも含まれます。このメトリクスは削除されたオブジェクト数ではなく、送信されたリクエスト数を示します。単位:件。有効な統計:Sum
HeadRequests Amazon S3 バケットに対する HTTP HEAD リクエスト数。単位:件。有効な統計:Sum
PostRequests Amazon S3 バケットに対する HTTP POST リクエスト数。単位:件。有効な統計:Sum。注意:複数オブジェクトの削除SELECT オブジェクト内容 のリクエストはこのメトリクスに含まれません。
SelectRequests Amazon S3 バケット内のオブジェクトに対して発行された Amazon S3 SELECT オブジェクト内容 リクエスト数。単位:件。有効な統計:Sum
SelectBytesScanned Amazon S3 バケット内の Amazon S3 SELECT オブジェクト内容 リクエストでスキャンされたデータ量(バイト)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
SelectBytesReturned Amazon S3 バケット内の Amazon S3 SELECT オブジェクト内容 リクエストで返されたデータ量(バイト)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
ListRequests バケット内容を一覧表示する HTTP リクエスト数。単位:件。有効な統計:Sum
BytesDownloaded Amazon S3 バケットに対するリクエストでダウンロードされたバイト数(リクエストのレスポンスに本文を含む)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
BytesUploaded Amazon S3 バケットに対するリクエストでアップロードされたバイト数(リクエストに本文を含む)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
4xxErrors Amazon S3 バケットに対する、値が 0 または 1 の HTTP 4xx クライアントエラー状態コードのリクエスト数。Average 統計はエラー率を示し、Sum 統計は各期間内のこの種のエラー数を示します。単位:件。有効な統計:Average(各リクエストの報告数)、Sum(各期間の報告数)、Min、Max、Sample Count
5xxErrors Amazon S3 バケットに対する、値が 0 または 1 の HTTP 5xx サーバーエラー状態コードのリクエスト数。Average 統計はエラー率を示し、Sum 統計は各期間内のこの種のエラー数を示します。単位:件。有効な統計:Average(各リクエストの報告数)、Sum(各期間の報告数)、Min、Max、Sample Count
FirstByteLatency Amazon S3 バケットから完全なリクエストを受信してから応答を返し始めるまでの、各リクエストあたりの時間。単位:ミリ秒。有効な統計:Average、Sum、Min、Max(p100 と同じ)、Sample Count、p0.0 から p100 までの任意のパーセンタイル
TotalRequestLatency 最初のバイトを受信してから最後のバイトを Amazon S3 バケットへ送信し終えるまでの、各リクエストあたりの経過時間。このメトリクスには、リクエスト本文の受信とレスポンス本文の送信に要した時間が含まれます(FirstByteLatency には含まれません)。単位:ミリ秒。有効な統計:Average、Sum、Min、Max(p100 と同じ)、Sample Count、p0.0 から p100 までの任意のパーセンタイル

CloudWatch における S3 レプリケーションメトリクス

保留中のバイト数、保留中の操作数、レプリケーション遅延を追跡することで、S3 レプリケーションの進行状況を監視できます。詳細はレプリケーションメトリクスを使用して進行状況を監視するを参照してください。

注意:

Amazon CloudWatch でレプリケーションメトリクスのアラームを有効にできます。レプリケーションメトリクスに対してアラームを設定する場合は、Missing data treatment (欠損データの扱い) フィールドを Treat missing data as ignore (maintain the alarm state) [欠損データを無視として扱う(アラーム状態を維持)] に設定してください。

メトリクス 説明
ReplicationLatency 指定されたレプリケーションルールにおいて、レプリケーション先の AWS リージョンがソース AWS リージョンより遅れている最大秒数。単位:秒。有効な統計:Max
BytesPendingReplication 指定されたレプリケーションルールでレプリケーション待ちのオブジェクトの総バイト数。単位:バイト。有効な統計:Max
OperationsPendingReplication 指定されたレプリケーションルールでレプリケーション待ちの操作数。単位:件。有効な統計:Max
OperationsFailedReplication 指定されたレプリケーションルールでレプリケーションに失敗した操作数。単位:件。有効な統計:総和(失敗した操作の総数)、平均値(失敗率)、サンプル数(レプリケーション操作の総数)

CloudWatch における S3 Storage Lens のストレージ分析ツールメトリクス

S3 Storage Lens の利用状況メトリクスとアクティビティメトリクスを Amazon CloudWatch に公開して、CloudWatch ダッシュボード で運用状態の統一ビューを作成できます。S3 Storage Lens のメトリクスは CloudWatch の AWS/S3/Storage-Lens 名前空間に公開されます。CloudWatch の公開オプションは、advanced metrics and recommendations(高度なメトリクスと推奨事項)にアップグレードされた S3 Storage Lens ダッシュボードで利用できます。

CloudWatch に公開される S3 Storage Lens のメトリクス一覧については、Amazon S3 Storage Lens のメトリクス用語集を参照してください。ディメンションの完全な一覧については、ディメンションを参照してください。

CloudWatch における S3 Object Lambda のリクエストメトリクス

S3 Object Lambda には次のリクエストメトリクスが含まれます。

メトリクス 説明
AllRequests オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに送られた HTTP リクエストの総数。単位:件。有効な統計:Sum
GetRequests オブジェクト Lambda アクセスポイントを使用してオブジェクトに対して送られた HTTP GET リクエスト数。このメトリクスには一覧操作は含まれません。単位:件。有効な統計:Sum
BytesUploaded オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットへアップロードされたバイト数(リクエストに本文を含む)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
PostRequests オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに送られた HTTP POST リクエスト数。単位:件。有効な統計:Sum
PutRequests オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケット内のオブジェクトに対して送られた HTTP PUT リクエスト数。単位:件。有効な統計:Sum
DeleteRequests オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケット内のオブジェクトに対して送られた HTTP DELETE リクエスト数。このメトリクスには複数オブジェクトの削除リクエストも含まれます。このメトリクスは削除されたオブジェクト数ではなく、送信されたリクエスト数を示します。単位:件。有効な統計:Sum
BytesDownloaded オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに対するリクエストでダウンロードされたバイト数(レスポンスに本文を含む)。単位:バイト。有効な統計:Average(各リクエストのバイト数)、Sum(各期間のバイト数)、Sample Count、Min、Max(p100 と同じ)、p0.0 から p99.9 までの任意のパーセンタイル
FirstByteLatency Amazon S3 バケットからオブジェクト Lambda アクセスポイント経由で完全なリクエストを受信してから応答を返し始めるまでの、各リクエストあたりの時間。このメトリクスは、AWS Lambda 関数がオブジェクトを変換してからオブジェクト Lambda アクセスポイントにバイトを返すまでの実行時間に依存します。単位:ミリ秒。有効な統計:Average、Sum、Min、Max(p100 と同じ)、Sample Count、p0.0 から p100 までの任意のパーセンタイル
TotalRequestLatency 最初のバイトを受信してから最後のバイトをオブジェクト Lambda アクセスポイントへ送信し終えるまでの、各リクエストあたりの経過時間。このメトリクスには、リクエスト本文の受信とレスポンス本文の送信に要した時間が含まれます(FirstByteLatency には含まれません)。単位:ミリ秒。有効な統計:Average、Sum、Min、Max(p100 と同じ)、Sample Count、p0.0 から p100 までの任意のパーセンタイル
HeadRequests オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに送られた HTTP HEAD リクエスト数。単位:件。有効な統計:Sum
ListRequests Amazon S3 バケットの内容を一覧表示する HTTP GET リクエスト数。このメトリクスには ListListV2 の両方の操作が含まれます。単位:件。有効な統計:Sum
4xxErrors オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに送られた、値が 0 または 1 の HTTP 4xx サーバーエラー状態コードのリクエスト数。Average 統計はエラー率を示し、Sum 統計は各期間内のこの種のエラー数を示します。単位:件。有効な統計:Average(各リクエストの報告数)、Sum(各期間の報告数)、Min、Max、Sample Count
5xxErrors オブジェクト Lambda アクセスポイントを使用して Amazon S3 バケットに送られた、値が 0 または 1 の HTTP 5xx サーバーエラー状態コードのリクエスト数。Average 統計はエラー率を示し、Sum 統計は各期間内のこの種のエラー数を示します。単位:件。有効な統計:Average(各リクエストの報告数)、Sum(各期間の報告数)、Min、Max、Sample Count
ProxiedRequests 標準の Amazon S3 API レスポンスを返すオブジェクト Lambda アクセスポイントに送られた HTTP リクエスト数。(この種のリクエストには Lambda 関数は設定されていません。)単位:件。有効な統計:Sum
InvokedLambda Lambda 関数が呼び出される S3 オブジェクトへの HTTP リクエスト数。単位:件。有効な統計:Sum
LambdaResponseRequests Lambda 関数が送信した WriteGetObjectResponse リクエスト数。このメトリクスは GetObject リクエストにのみ適用されます。
LambdaResponse4xx Lambda 関数から WriteGetObjectResponse を呼び出した際に発生した HTTP 4xx クライアントエラー数。このメトリクスは 4xxErrors と同じ情報を提供しますが、WriteGetObjectResponse 呼び出しにのみ適用されます。
LambdaResponse5xx Lambda 関数から WriteGetObjectResponse を呼び出した際に発生した HTTP 5xx サーバーエラー数。このメトリクスは 5xxErrors と同じ情報を提供しますが、WriteGetObjectResponse 呼び出しにのみ適用されます。

CloudWatch における Amazon S3 on Outposts のメトリクス

CloudWatch での S3 on Outposts 用メトリクス一覧については、CloudWatch metrics(CloudWatch メトリクス)を参照してください。

CloudWatch における Amazon S3 のディメンション

次のディメンションは Amazon S3 メトリクスのフィルタリングに使用されます。

ディメンション 説明
BucketName このディメンションは、識別済みバケットに対するリクエストのデータのみをフィルタします。
StorageType このディメンションは、バケットに保存されているデータを次のストレージタイプでフィルタします:StandardStorageSTANDARD ストレージクラスのオブジェクトのバイト数。IntelligentTieringAAStorageINTELLIGENT_TIERING ストレージクラスのアーカイブアクセス層にあるオブジェクトのバイト数。IntelligentTieringAIAStorageINTELLIGENT_TIERING ストレージクラスのアーカイブ即時アクセス層にあるオブジェクトのバイト数。IntelligentTieringDAAStorageINTELLIGENT_TIERING ストレージクラスのディープアーカイブアクセス層にあるオブジェクトのバイト数。IntelligentTieringFAStorageINTELLIGENT_TIERING ストレージクラスの頻繁アクセス層にあるオブジェクトのバイト数。IntelligentTieringIAStorageINTELLIGENT_TIERING ストレージクラスの不頻繁アクセス層にあるオブジェクトのバイト数。StandardIAStorage – 「標準 - 不頻繁アクセス層(STANDARD_IA)」ストレージクラスのオブジェクトのバイト数。StandardIASizeOverheadSTANDARD_IA ストレージクラスで 128KB 未満のオブジェクトのバイト数。IntAAObjectOverhead – アーカイブアクセス層の INTELLIGENT_TIERING ストレージクラスの各オブジェクトについて、S3 Glacier がインデックスと関連メタデータのために追加する 32KB のストレージ。オブジェクトの識別と復元にこの追加データが必要です。この追加ストレージには S3 Glacier の料金が適用されます。IntAAS3ObjectOverhead – アーカイブアクセス層の INTELLIGENT_TIERING ストレージクラスの各オブジェクトについて、Amazon S3 がオブジェクト名とその他のメタデータのために使用する 8KB のストレージ。この追加ストレージには S3 Standard の料金が適用されます。IntDAAObjectOverhead – ディープアーカイブアクセス層の INTELLIGENT_TIERING ストレージクラスの各オブジェクトについて、S3 Glacier がインデックスと関連メタデータのために追加する 32KB のストレージ。オブジェクトの識別と復元にこの追加データが必要です。この追加ストレージには S3 Glacier Deep Archive の料金が適用されます。IntDAAS3ObjectOverhead – ディープアーカイブアクセス層の INTELLIGENT_TIERING ストレージクラスの各オブジェクトについて、Amazon S3 がインデックスと関連メタデータのために追加する 8KB のストレージ。オブジェクトの識別と復元にこの追加データが必要です。この追加ストレージには S3 Standard の料金が適用されます。OneZoneIAStorage – 「S3 One Zone - Infrequent Access(ONEZONE_IA)」ストレージクラスのオブジェクトのバイト数。OneZoneIASizeOverheadONEZONE_IA ストレージクラスで 128KB 未満のオブジェクトのバイト数。ReducedRedundancyStorage – 低冗長ストレージ(RRS)クラスのオブジェクトのバイト数。GlacierInstantRetrievalSizeOverhead – S3 Glacier Instant Retrieval ストレージクラスで 128KB 未満のオブジェクトのバイト数。GlacierInstantRetrievalStorage – S3 Glacier Instant Retrieval ストレージクラスのオブジェクトのバイト数。GlacierStorage – S3 Glacier Flexible Retrieval ストレージクラスのオブジェクトのバイト数。GlacierStagingStorage – S3 Glacier Flexible Retrieval ストレージクラスのオブジェクトで CompleteMultipartUpload リクエストが完了する前の、マルチパートオブジェクトの各パートのバイト数。GlacierObjectOverhead – 各アーカイブオブジェクトについて、S3 Glacier がインデックスと関連メタデータのために追加する 32KB のストレージ。オブジェクトの識別と復元にこの追加データが必要です。この追加ストレージには S3 Glacier Flexible Retrieval の料金が適用されます。GlacierS3ObjectOverhead – S3 Glacier Flexible Retrieval にアーカイブされた各オブジェクトについて、Amazon S3 がオブジェクト名とその他のメタデータのために使用する 8KB のストレージ。この追加ストレージには S3 Standard の料金が適用されます。DeepArchiveStorage – S3 Glacier Deep Archive ストレージクラスのオブジェクトのバイト数。DeepArchiveObjectOverhead – 各アーカイブオブジェクトについて、S3 Glacier がインデックスと関連メタデータのために追加する 32KB のストレージ。オブジェクトの識別と復元にこの追加データが必要です。この追加ストレージには S3 Glacier Deep Archive の料金が適用されます。DeepArchiveS3ObjectOverhead – S3 Glacier Deep Archive にアーカイブされた各オブジェクトについて、Amazon S3 がオブジェクト名とその他のメタデータのために使用する 8KB のストレージ。この追加ストレージには S3 Standard の料金が適用されます。DeepArchiveStagingStorage - S3 Glacier Deep Archive ストレージクラスのオブジェクトで CompleteMultipartUpload リクエストが完了する前の、マルチパートオブジェクトの各パートのバイト数。
FilterId このディメンションは、バケット上のリクエストメトリクスに対して指定したメトリクス設定をフィルタします。メトリクス設定を作成するときは、フィルタ条件 ID(たとえば、プレフィックス、タグ、またはアクセスポイント)を指定する必要があります。詳細はメトリクス設定の作成を参照してください。

CloudWatch における S3 Storage Lens のストレージ分析ツールのディメンション

CloudWatch で S3 Storage Lens メトリクスをフィルタするためのディメンション一覧については、ディメンションを参照してください。

CloudWatch における S3 Object Lambda のリクエストディメンション

次のディメンションは、オブジェクト Lambda アクセスポイントからのデータをフィルタするために使用されます。

ディメンション 説明
AccessPointName リクエストが送信されているアクセスポイント名。
DataSourceARN オブジェクト Lambda アクセスポイントがデータを取得している送信元。リクエストが Lambda 関数を呼び出す場合は Lambda ARN を指し、それ以外の場合はアクセスポイント ARN を指します。

オブジェクト

収集された AWS S3 オブジェクトデータ構造です。オブジェクトデータは「インフラストラクチャ - カスタム」で確認できます

{
  "measurement": "aws_s3",
  "tags": {
    "name"              : "dataxxxx",
    "RegionId"          : "cn-northwest-1",
    "LocationConstraint": "cn-northwest-1",
    "Name"              : "dataxxxx"
  },
  "fields": {
    "CreationDate": "2022-03-09T06:13:31Z",
    "Grants"      : "{JSON データ}",
    "message"     : "{インスタンス JSON データ}"
  }
}

注意:tagsfields のフィールドは今後の更新により変更される場合があります

ヒント 1:tags.name の値はインスタンス名であり、一意識別子として使用されます

ヒント 2:fields.message は JSON シリアライズ後の文字列です

ヒント 3:fields.Grants は bucket のアクセス制御リストです

フィードバック

このページは役に立ちましたか?