GCP Dataflow¶
GCP Dataflow メトリクスを収集。
設定¶
Func のインストール¶
Guance の「統合 - 拡張 - マネージド版 Func」を有効にすることを推奨します。すべての前提条件が自動的にインストールされるため、続けてスクリプトをインストールしてください。
Func を独自にデプロイする場合は、Func の自己デプロイを参照してください。
スクリプトのインストール¶
- Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットを開き、
integration_gcp_dataflowを検索します。 - 【インストール】をクリックし、アカウントファイル名、Target Principal、アカウント名を入力します。
- 【起動スクリプトをデプロイ】をクリックします。システムが
Startupスクリプトセットを作成し、対応する起動スクリプトを自動設定します。 - 有効化後、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。【実行】をクリックしてすぐに一度実行し、タスク記録とログを確認します。
検証¶
- 「管理 / 自動トリガー設定」で対象タスクが存在することを確認し、タスク記録とログに異常がないか確認します。
- Guance の「インフラストラクチャ / カスタム」で、対応する資産情報が存在することを確認します。
- Guance の「メトリクス」で、対応するメトリクスセットと監視データが存在することを確認します。
メトリクス¶
GCP Dataflow のメトリクスは gcp_dataflow メトリクスセットに保存され、元のメトリクスは Cloud Monitoring の dataflow.googleapis.com/ 名前空間から取得されます。次の表に主要なメトリクスを示します。完全な一覧は GCP Dataflow のメトリクスを参照してください。
| メトリクス | 元のメトリクス | 説明 | 単位 |
|---|---|---|---|
| job_active_worker_instances | job/active_worker_instances |
メトリクス:ジョブ アクティブ ワーカー インスタンス | Count |
| job_aggregated_worker_utilization | job/aggregated_worker_utilization |
メトリクス:ジョブ 集約 ワーカー 使用率 | % |
| job_backlog_bytes | job/backlog_bytes |
メトリクス:ジョブ バックログ バイト | Bytes |
| job_backlog_elements | job/backlog_elements |
メトリクス:ジョブ バックログ 要素 | Count |
| job_current_num_vcpus | job/current_num_vcpus |
メトリクス:ジョブ 現在 数 vCPU | Count |
| job_current_shuffle_slots | job/current_shuffle_slots |
メトリクス:ジョブ 現在 Shuffle スロット | Count |
| job_data_watermark_age | job/data_watermark_age |
メトリクス:ジョブ データ ウォーターマーク 経過時間 | s |
| job_estimated_bytes_consumed_count | job/estimated_bytes_consumed_count |
メトリクス:ジョブ 推定 バイト 消費 数 | Bytes |
| job_estimated_bytes_produced_count | job/estimated_bytes_produced_count |
メトリクス:ジョブ 推定 バイト 生成 数 | Bytes |
| job_is_bottleneck | job/is_bottleneck |
メトリクス:ジョブ 状態 ボトルネック | Bool |
| job_is_failed | job/is_failed |
メトリクス:ジョブ 状態 失敗 | Count |
| job_memory_capacity | job/memory_capacity |
メトリクス:ジョブ メモリ 容量 | Bytes |
| job_system_lag | job/system_lag |
メトリクス:ジョブ システム 遅延 | s |
| job_target_worker_instances | job/target_worker_instances |
メトリクス:ジョブ ターゲット ワーカー インスタンス | Count |
| job_total_memory_usage_time | job/total_memory_usage_time |
メトリクス:ジョブ 合計 メモリ 使用量 時間 | GiBy.s |