コンテンツにスキップ

GCP Dataflow

GCP Dataflow メトリクスを収集。

設定

Func のインストール

Guance の「統合 - 拡張 - マネージド版 Func」を有効にすることを推奨します。すべての前提条件が自動的にインストールされるため、続けてスクリプトをインストールしてください。

Func を独自にデプロイする場合は、Func の自己デプロイを参照してください。

スクリプトのインストール

  1. Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットを開き、integration_gcp_dataflow を検索します。
  2. 【インストール】をクリックし、アカウントファイル名、Target Principal、アカウント名を入力します。
  3. 【起動スクリプトをデプロイ】をクリックします。システムが Startup スクリプトセットを作成し、対応する起動スクリプトを自動設定します。
  4. 有効化後、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。【実行】をクリックしてすぐに一度実行し、タスク記録とログを確認します。

検証

  1. 「管理 / 自動トリガー設定」で対象タスクが存在することを確認し、タスク記録とログに異常がないか確認します。
  2. Guance の「インフラストラクチャ / カスタム」で、対応する資産情報が存在することを確認します。
  3. Guance の「メトリクス」で、対応するメトリクスセットと監視データが存在することを確認します。

メトリクス

GCP Dataflow のメトリクスは gcp_dataflow メトリクスセットに保存され、元のメトリクスは Cloud Monitoring の dataflow.googleapis.com/ 名前空間から取得されます。次の表に主要なメトリクスを示します。完全な一覧は GCP Dataflow のメトリクスを参照してください。

メトリクス 元のメトリクス 説明 単位
job_active_worker_instances job/active_worker_instances メトリクス:ジョブ アクティブ ワーカー インスタンス Count
job_aggregated_worker_utilization job/aggregated_worker_utilization メトリクス:ジョブ 集約 ワーカー 使用率 %
job_backlog_bytes job/backlog_bytes メトリクス:ジョブ バックログ バイト Bytes
job_backlog_elements job/backlog_elements メトリクス:ジョブ バックログ 要素 Count
job_current_num_vcpus job/current_num_vcpus メトリクス:ジョブ 現在 数 vCPU Count
job_current_shuffle_slots job/current_shuffle_slots メトリクス:ジョブ 現在 Shuffle スロット Count
job_data_watermark_age job/data_watermark_age メトリクス:ジョブ データ ウォーターマーク 経過時間 s
job_estimated_bytes_consumed_count job/estimated_bytes_consumed_count メトリクス:ジョブ 推定 バイト 消費 数 Bytes
job_estimated_bytes_produced_count job/estimated_bytes_produced_count メトリクス:ジョブ 推定 バイト 生成 数 Bytes
job_is_bottleneck job/is_bottleneck メトリクス:ジョブ 状態 ボトルネック Bool
job_is_failed job/is_failed メトリクス:ジョブ 状態 失敗 Count
job_memory_capacity job/memory_capacity メトリクス:ジョブ メモリ 容量 Bytes
job_system_lag job/system_lag メトリクス:ジョブ システム 遅延 s
job_target_worker_instances job/target_worker_instances メトリクス:ジョブ ターゲット ワーカー インスタンス Count
job_total_memory_usage_time job/total_memory_usage_time メトリクス:ジョブ 合計 メモリ 使用量 時間 GiBy.s

フィードバック

このページは役に立ちましたか?