コンテンツにスキップ

AWS MSK

Amazon Managed Streaming for Apache Kafka（Amazon MSK）は、Apache Kafka を使用してストリーミングデータを処理するアプリケーションを構築・運用するためのフルマネージドサービスです。

スクリプトマーケットプレイスの「Guanceクラウド同期」シリーズのスクリプトパッケージを使って、クラウド監視・クラウド資産のデータをGuanceに同期します

構成

Func のインストール

Guance の統合 - 拡張 - マネージド版 Func の有効化を推奨します。前提条件はすべて自動でインストールされるため、そのままスクリプトのインストールを続けてください。

Func を自前でデプロイする場合はFunc の自前デプロイ

スクリプトのインストール

ヒント：要件を満たす Amazon AK を事前に用意してください（簡単にするには、グローバル読み取り専用権限 ReadOnlyAccess を直接付与してもかまいません）

マネージド版スクリプトの有効化

  1. Guance コンソールにログインします
  2. 【統合】メニューをクリックし、【クラウドアカウント管理】を選択します
  3. 【クラウドアカウントの追加】をクリックし、【AWS】を選択して画面に必要な情報を入力します。すでにクラウドアカウント情報を設定済みの場合は、この手順をスキップします
  4. 【テスト】をクリックし、成功したら【保存】をクリックします。失敗した場合は、関連する設定情報が正しいか確認してから再度テストしてください
  5. 【クラウドアカウント管理】の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
  6. クラウドアカウント詳細ページの【統合】ボタンをクリックし、未インストール リストから AWS MSK を見つけて【インストール】をクリックし、表示されるインストール画面でインストールします。

手動でスクリプトを有効化

  1. Func コンソールにログインし、【スクリプトマーケットプレイス】をクリックしてGuanceスクリプトマーケットプレイスに入り、integration_aws_kafka を検索します

  2. 【インストール】をクリックし、対応するパラメータとして AWS AK ID、AK Secret、アカウント名を入力します。

  3. 【デプロイして起動】をクリックすると、システムが自動的に Startup スクリプトセットを作成し、対応する起動スクリプトを自動で設定します。

  4. 有効化後は、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。【実行】をクリックすると、定期実行を待たずにただちに 1 回実行できます。少し待ってから、実行タスクの記録と対応するログを確認してください。

検証

  1. 「管理 / 自動トリガー設定」で対応するタスクに自動トリガー設定が存在するか確認し、あわせて対応するタスク記録とログを見て異常がないか確認します
  2. Guance の「インフラストラクチャ / カスタム」で資産情報が存在するか確認します
  3. Guance の「メトリクス」で対応する監視データがあるか確認します

メトリクス

Amazon CloudWatch が設定されていれば、既定のメトリクスセットは以下のとおりです。設定によりさらに多くのメトリクスを収集できます Amazon CloudWatch メトリクスの詳細

DEFAULT レベルの監視

下表に記載されたメトリクスは DEFAULT 監視レベルで利用できます。これらのメトリクスは無料です。

DEFAULT 監視レベルで利用可能なメトリクス
名前 利用可能になる時点 ディメンション 説明
ActiveControllerCount クラスターが ACTIVE 状態になった後。 クラスター名 任意の時点で、各クラスターでアクティブになれるコントローラーは 1 つだけです。
BurstBalance クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID クラスター内の EBS ボリュームの入出力バーストクレジットの残高です。レイテンシやスループット低下の調査に使用します。BurstBalance は、ボリュームのベースライン性能が最大バースト性能を上回る場合、EBS ボリュームでは報告されません。詳細は I/O クレジットとバースト性能 を参照してください。
BytesInPerSec トピックが作成された後。 クラスター名、ブローカー ID、トピック クライアントから 1 秒あたりに受信したバイト数です。このメトリクスは、各ブローカーおよび各トピックに対して適用されます。
BytesOutPerSec トピックが作成された後。 クラスター名、ブローカー ID、トピック クライアントへ 1 秒あたりに送信したバイト数です。このメトリクスは、各ブローカーおよび各トピックに対して適用されます。
ClientConnectionCount クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID、クライアント認証 認証済みのアクティブなクライアント接続数です。
ConnectionCount クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 認証済みのアクティブ接続、未認証接続、およびブローカー間接続の数です。
CPUCreditBalance クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID このメトリクスは、ブローカーの CPU クレジット残高の監視に役立ちます。CPU 使用率が一貫して 20% のベースラインを超えると、CPU クレジット残高を使い切る可能性があり、クラスター性能に悪影響を及ぼすことがあります。CPU 負荷を下げるために、クライアントリクエスト数を減らすか、ブローカータイプを M5 ブローカータイプに更新するなどの対策を取れます。
CpuIdle クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID CPU アイドル時間の割合です。
CpuIoWait クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 保留中のディスク操作中における CPU アイドル時間の割合です。
CpuSystem クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID カーネル空間での CPU 使用率です。
CpuUser クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ユーザー空間での CPU 使用率です。
GlobalPartitionCount クラスターが ACTIVE 状態になった後。 クラスター名 クラスター内のすべてのトピック（レプリカを除く）のパーティション数です。GlobalPartitionCount にはレプリカが含まれないため、トピックの複製係数が 1 より大きい場合、PartitionCount 値の合計は GlobalPartitionCount より大きくなることがあります。
GlobalTopicCount クラスターが ACTIVE 状態になった後。 クラスター名 クラスター内のすべてのブローカーにわたるトピックの総数です。
EstimatedMaxTimeLag コンシューマーグループがトピックを消費した後。 コンシューマーグループ、トピック MaxOffsetLag が解消されるまでの推定時間（秒）です。
KafkaAppLogsDiskUsed クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID アプリケーションログに使用されているディスク領域の割合です。
KafkaDataLogsDiskUsed（Cluster Name, Broker IDディメンション） クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID データログに使用されているディスク領域の割合です。
KafkaDataLogsDiskUsed（Cluster Nameディメンション） クラスターが ACTIVE 状態になった後。 クラスター名 データログに使用されているディスク領域の割合です。
LeaderCount クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 各ブローカーごとのパーティションリーダーの総数です。レプリカは含みません。
MaxOffsetLag コンシューマーグループがトピックを消費した後。 コンシューマーグループ、トピック トピック内のすべてのパーティションにおける最大オフセット遅延です。
MemoryBuffered クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーのバッファメモリ量（バイト）です。
MemoryCached クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーのキャッシュメモリ量（バイト）です。
MemoryFree クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーで利用可能な空きメモリ量（バイト）です。
HeapMemoryAfterGC クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ガベージコレクション後に使用されているヒープメモリが、総ヒープメモリに占める割合です。
MemoryUsed クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーが使用しているメモリ量（バイト）です。
MessagesInPerSec クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーへの 1 秒あたりの入力メッセージ数です。
NetworkRxDropped クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 破棄された受信パケット数です。
NetworkRxErrors クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーのネットワーク受信エラー数です。
NetworkRxPackets クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーが受信したパケット数です。
NetworkTxDropped クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 破棄された送信パケット数です。
NetworkTxErrors クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーのネットワーク送信エラー数です。
NetworkTxPackets クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーが送信したパケット数です。
OfflinePartitionsCount クラスターが ACTIVE 状態になった後。 クラスター名 クラスター内でオフライン状態にあるパーティションの総数です。
PartitionCount クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID レプリカを含む、各ブローカーのトピックパーティション総数です。
ProduceTotalTimeMsMean クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID 平均プロデュース時間（ミリ秒）です。
RequestBytesMean クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーのリクエストバイト数の平均です。
RequestTime リクエストスロットルが適用された後。 クラスター名、ブローカー ID ブローカーのネットワークおよび I/O スレッドがリクエストの処理に費やした平均時間（ミリ秒）です。
RootDiskUsed クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーが使用しているルートディスクの割合です。
SumOffsetLag コンシューマーグループがトピックを消費した後。 コンシューマーグループ、トピック トピック内のすべてのパーティションのオフセット遅延合計です。
SwapFree クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーで利用可能なスワップメモリ量（バイト）です。
SwapUsed クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーが使用しているスワップメモリ量（バイト）です。
TrafficShaping クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ネットワーク割り当ての超過によって形成された（破棄またはキューイングされた）パケット数を示す高度なメトリクスです。PER_BROKER メトリクスの方が詳細な情報を提供します。
UnderMinIsrPartitionCount クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーの未管理パーティション数です。
UnderReplicatedPartitions クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーの未完全レプリケーションパーティション数です。
ZooKeeperRequestLatencyMsMean クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーからの Apache ZooKeeper リクエストの平均レイテンシ（ミリ秒）です。
ZooKeeperSessionState クラスターが ACTIVE 状態になった後。 クラスター名、ブローカー ID ブローカーの ZooKeeper セッションの接続状態は、次のいずれかです。NOT_CONNECTED: '0.0'、ASSOCIATING: '0.1'、CONNECTING: '0.5'、CONNECTEDREADONLY: '0.8'、CONNECTED: '1.0'、CLOSED: '5.0'、AUTH_FAILED: '10.0'。

PER_BROKER レベルの監視

監視レベルを PER_BROKER に設定すると、すべての DEFAULT レベルのメトリクスに加えて、下表のメトリクスも取得できます。下表のメトリクスは有料ですが、DEFAULT レベルのメトリクスは引き続き無料です。表のメトリクスのディメンションは、クラスター名、ブローカー ID です。

PER_BROKER 監視レベルで追加提供されるメトリクス
名前 利用可能になる時点 説明
BwInAllowanceExceeded クラスターが ACTIVE 状態になった後。 ブローカーの最大帯域幅を超える受信集約帯域幅によって形成されたパケット数です。
BwOutAllowanceExceeded クラスターが ACTIVE 状態になった後。 ブローカーの最大帯域幅を超える送信集約帯域幅によって形成されたパケット数です。
ConnTrackAllowanceExceeded クラスターが ACTIVE 状態になった後。 ブローカーの最大値を超える接続追跡によって形成されたパケット数です。接続追跡はセキュリティグループに関連しており、セキュリティグループは確立された各接続を追跡して、戻りパケットが想定どおりに配信されるようにします。
ConnectionCloseRate クラスターが ACTIVE 状態になった後。 リスナーごとに 1 秒あたりに閉じられる接続数です。この数値はリスナー単位で集計され、その後クライアントリスナーに対してフィルタリングされます。
ConnectionCreationRate クラスターが ACTIVE 状態になった後。 リスナーごとに 1 秒あたりに確立される新規接続数です。この数値はリスナー単位で集計され、その後クライアントリスナーに対してフィルタリングされます。
CpuCreditUsage クラスターが ACTIVE 状態になった後。 このメトリクスは、インスタンス上の CPU クレジット使用状況の監視に役立ちます。CPU 使用率が一貫して 20% のベースラインを超えると、CPU クレジット残高を使い切る可能性があり、クラスター性能に悪影響を及ぼすことがあります。このメトリクスを監視してアラートを発報し、是正措置を取れます。
FetchConsumerLocalTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 リーダー側でコンシューマー要求の処理に費やした平均時間（ミリ秒）です。
FetchConsumerRequestQueueTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 コンシューマー要求がリクエストキューで待機した平均時間（ミリ秒）です。
FetchConsumerResponseQueueTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 コンシューマー要求がレスポンスキューで待機した平均時間（ミリ秒）です。
FetchConsumerResponseSendTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 コンシューマーへのレスポンス送信に費やした平均時間（ミリ秒）です。
FetchConsumerTotalTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 コンシューマーがブローカーからデータをフェッチするのに費やした総平均時間（ミリ秒）です。
FetchFollowerLocalTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 リーダー側でフォロワー要求の処理に費やした平均時間（ミリ秒）です。
FetchFollowerRequestQueueTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 フォロワー要求がリクエストキューで待機した平均時間（ミリ秒）です。
FetchFollowerResponseQueueTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 フォロワー要求がレスポンスキューで待機した平均時間（ミリ秒）です。
FetchFollowerResponseSendTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 フォロワーへのレスポンス送信に費やした平均時間（ミリ秒）です。
FetchFollowerTotalTimeMsMean プロデューサー/コンシューマーが存在するようになってから。 フォロワーがブローカーからデータをフェッチするのに費やした総平均時間（ミリ秒）です。
FetchMessageConversionsPerSec トピックが作成された後。 1 秒あたりのフェッチされたメッセージの変換回数です。
FetchThrottleByteRate リクエスト帯域幅が適用された後。 1 秒あたりのスロットルバイト数です。
FetchThrottleQueueSize リクエスト帯域幅が適用された後。 スロットルキュー内のメッセージ数です。
FetchThrottleTime リクエスト帯域幅が適用された後。 平均フェッチスロットル時間（ミリ秒）です。
NetworkProcessorAvgIdlePercent クラスターが ACTIVE 状態になった後。 ネットワークプロセッサーがアイドル状態である時間の平均割合です。
PpsAllowanceExceeded クラスターが ACTIVE 状態になった後。 双方向 PPS がブローカーの最大値を超えたことによって形成されたパケット数です。
ProduceLocalTimeMsMean クラスターが ACTIVE 状態になった後。 リーダーがリクエスト処理に費やした平均時間（ミリ秒）です。
ProduceMessageConversionsPerSec トピックが作成された後。 1 秒あたりのメッセージ変換回数です。
ProduceMessageConversionsTimeMsMean クラスターが ACTIVE 状態になった後。 メッセージ形式の変換に費やした平均時間（ミリ秒）です。
ProduceRequestQueueTimeMsMean クラスターが ACTIVE 状態になった後。 リクエストメッセージがキュー内で費やした平均時間（ミリ秒）です。
ProduceResponseQueueTimeMsMean クラスターが ACTIVE 状態になった後。 レスポンスメッセージがキュー内で費やした平均時間（ミリ秒）です。
ProduceResponseSendTimeMsMean クラスターが ACTIVE 状態になった後。 レスポンスメッセージの送信に費やした平均時間（ミリ秒）です。
ProduceThrottleByteRate リクエスト帯域幅が適用された後。 1 秒あたりのスロットルバイト数です。
ProduceThrottleQueueSize リクエスト帯域幅が適用された後。 スロットルキュー内のメッセージ数です。
ProduceThrottleTime リクエスト帯域幅が適用された後。 平均プロデューススロットル時間（ミリ秒）です。
ProduceTotalTimeMsMean クラスターが ACTIVE 状態になった後。 平均プロデュース時間（ミリ秒）です。
RemoteBytesInPerSec プロデューサー/コンシューマーが存在するようになってから。 指定されたブローカーのコンシューマーフェッチ要求に応答して、階層型ストレージから転送された総バイト数です。このメトリクスには、指定ブローカーの上下流のデータ転送トラフィックに影響する、トピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteBytesOutPerSec プロデューサー/コンシューマーが存在するようになってから。 指定されたトピックとブローカーの階層型ストレージへ転送された総バイト数です。ログセグメント、インデックス、その他の補助ファイルからのデータを含みます。このメトリクスには、指定ブローカーの上流データ転送トラフィックに影響する、トピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteLogManagerTasksAvgIdlePercent クラスターが ACTIVE 状態になった後。 リモートログマネージャーのアイドル時間の平均割合です。リモートログマネージャーはデータをブローカーから階層型ストレージへ転送します。カテゴリ: 内部アクティビティ。これは KIP-405 メトリクスです。
RemoteLogReaderAvgIdlePercent クラスターが ACTIVE 状態になった後。 リモートログリーダーのアイドル時間の平均割合です。リモートログリーダーは、コンシューマーのフェッチ要求に応答して、データをリモートストレージからブローカーへ転送します。カテゴリ: 内部アクティビティ。これは KIP-405 メトリクスです。
RemoteLogReaderTaskQueueSize クラスターが ACTIVE 状態になった後。 階層型ストレージからの読み取りを担当し、スケジュール待ちのタスク数です。カテゴリ: 内部アクティビティ。これは KIP-405 メトリクスです。
RemoteReadErrorPerSec クラスターが ACTIVE 状態になった後。 指定ブローカーが、コンシューマーのフェッチ要求に応答してデータを取得するために階層型ストレージへ送った読み取りリクエストに対する 1 秒あたりの総エラー率です。このメトリクスには、指定ブローカーの下流データ転送トラフィックに影響する、トピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteReadRequestsPerSec クラスターが ACTIVE 状態になった後。 指定ブローカーが、コンシューマーのフェッチ要求に応答してデータを取得するために階層型ストレージへ送った読み取りリクエストの総数です。このメトリクスには、指定ブローカーの下流データ転送トラフィックに影響する、トピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteWriteErrorPerSec クラスターが ACTIVE 状態になった後。 指定ブローカーが、上流へのデータ転送のために階層型ストレージへ送った書き込みリクエストに対する 1 秒あたりの総エラー率です。このメトリクスには、指定ブローカーの上流データ転送トラフィックに影響する、トピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
ReplicationBytesInPerSec トピックが作成された後。 1 秒あたりに他のブローカーから受信したバイト数です。
ReplicationBytesOutPerSec トピックが作成された後。 1 秒あたりに他のブローカーへ送信したバイト数です。
RequestExemptFromThrottleTime リクエストスロットルが適用された後。 ブローカーのネットワークおよび I/O スレッドが、スロットル対象外のリクエストの処理に費やした平均時間（ミリ秒）です。
RequestHandlerAvgIdlePercent クラスターが ACTIVE 状態になった後。 リクエストハンドラースレッドがアイドル状態である時間の平均割合です。
RequestThrottleQueueSize リクエストスロットルが適用された後。 スロットルキュー内のメッセージ数です。
RequestThrottleTime リクエストスロットルが適用された後。 平均リクエストスロットル時間（ミリ秒）です。
TcpConnections クラスターが ACTIVE 状態になった後。 SYN フラグが設定された受信および送信 TCP セグメントの数を示します。
TotalTierBytesLag トピックが作成された後。 ブローカー上で階層化の対象になっているものの、まだ階層型ストレージに転送されていないデータの総バイト数です。このメトリクスは、上流データ転送の効率を示します。遅延が増えるほど、階層型ストレージに存在しないデータ量も増えます。カテゴリ: アーカイブ遅延。これは KIP-405 のメトリクスではありません。
TrafficBytes クラスターが ACTIVE 状態になった後。 クライアント（プロデューサーとコンシューマー）とブローカー間のネットワークトラフィックを総バイト数で示します。ブローカー間のトラフィックは報告されません。
VolumeQueueLength クラスターが ACTIVE 状態になった後。 指定期間内に完了待ちの読み取りおよび書き込み操作リクエスト数です。
VolumeReadBytes クラスターが ACTIVE 状態になった後。 指定期間内に読み取られたバイト数です。
VolumeReadOps クラスターが ACTIVE 状態になった後。 指定期間内の読み取り操作数です。
VolumeTotalReadTime クラスターが ACTIVE 状態になった後。 指定期間内に完了したすべての読み取り操作に費やした合計秒数です。
VolumeTotalWriteTime クラスターが ACTIVE 状態になった後。 指定期間内に完了したすべての書き込み操作に費やした合計秒数です。
VolumeWriteBytes クラスターが ACTIVE 状態になった後。 指定期間内に書き込まれたバイト数です。
VolumeWriteOps クラスターが ACTIVE 状態になった後。 指定期間内の書き込み操作数です。

PER_TOPIC_PER_BROKER レベルの監視

監視レベルを PER_TOPIC_PER_BROKER に設定すると、PER_BROKER と DEFAULT レベルのすべてのメトリクスに加えて、下表のメトリクスも取得できます。DEFAULT レベルのメトリクスのみが無料です。表のメトリクスのディメンションは、クラスター名、ブローカー ID、トピックです。

重要: Apache Kafka 2.4.1 以降を使用する Amazon MSK クラスターでは、下表のメトリクスは値が初めてゼロ以外になった後にのみ表示されます。例えば BytesInPerSec を確認するには、1 つ以上のプロデューサーが先にクラスターへデータを送信している必要があります。

PER_TOPIC_PER_BROKER 監視レベルで追加提供されるメトリクス
名前 利用可能になる時点 説明
FetchMessageConversionsPerSec トピックが作成された後。 1 秒あたりに変換されたフェッチ済みメッセージ数です。
MessagesInPerSec トピックが作成された後。 1 秒あたりに受信したメッセージ数です。
ProduceMessageConversionsPerSec トピックが作成された後。 1 秒あたりに変換されたプロデュース済みメッセージ数です。
RemoteBytesInPerSec トピックを作成し、そのトピックが生成/消費されるようになってから。 指定トピックとブローカーのコンシューマーフェッチ要求に応答して、階層型ストレージから転送されたバイト数です。このメトリクスには、指定ブローカーの上下流のデータ転送トラフィックに影響する、そのトピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteBytesOutPerSec トピックを作成し、そのトピックが生成/消費されるようになってから。 指定トピックとブローカーの階層型ストレージへ転送されたバイト数です。このメトリクスには、指定ブローカーの上流データ転送トラフィックに影響する、そのトピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteReadErrorPerSec トピックを作成し、そのトピックが生成/消費されるようになってから。 指定ブローカーが、指定トピックのコンシューマーフェッチ要求に応答してデータを取得するために階層型ストレージへ送った読み取りリクエストに対するエラー率です。このメトリクスには、指定ブローカーの上下流のデータ転送トラフィックに影響する、そのトピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteReadRequestsPerSec トピックを作成し、そのトピックが生成/消費されるようになってから。 指定ブローカーが、指定トピックのコンシューマーフェッチ要求に応答してデータを取得するために階層型ストレージへ送った読み取りリクエストの数です。このメトリクスには、指定ブローカーの上下流のデータ転送トラフィックに影響する、そのトピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。
RemoteWriteErrorPerSec トピックを作成し、そのトピックが生成/消費されるようになってから。 指定ブローカーが、上流へのデータ転送のために階層型ストレージへ送った書き込みリクエストに対するエラー率です。このメトリクスには、指定ブローカーの上流データ転送トラフィックに影響する、そのトピック内のすべてのパーティションが含まれます。カテゴリ: トラフィックとエラー率。これは KIP-405 メトリクスです。

PER_TOPIC_PER_PARTITION レベルの監視

監視レベルを PER_TOPIC_PER_PARTITION に設定すると、PER_TOPIC_PER_BROKER、PER_BROKER、および DEFAULT レベルのすべてのメトリクスに加えて、下表のメトリクスも取得できます。DEFAULT レベルのメトリクスのみが無料です。表のメトリクスのディメンションは、コンシューマーグループ、トピック、パーティションです。

PER_TOPIC_PER_PARTITION 監視レベルで追加提供されるメトリクス
名前 利用可能になる時点 説明
EstimatedTimeLag コンシューマーグループがトピックを消費した後。 パーティションのオフセット遅延が解消されるまでの推定時間（秒）です。
OffsetLag コンシューマーグループがトピックを消費した後。 パーティションレベルのコンシューマーのオフセット遅延です。

オブジェクト

AWS MSK のオブジェクトデータはまだありません

フィードバック

このページは役に立ちましたか？