AWS EMR Serverless
AWS EMR Serverless の監視データを収集します。
設定¶
Func のインストール¶
Guance のインテグレーション - 拡張機能 - ホステッド Func の有効化を推奨します。前提条件はすべて自動的にインストールされるため、そのままスクリプトのインストールに進んでください。
Func を自前でデプロイする場合はFunc の自前デプロイを参照してください
スクリプトの有効化¶
ヒント:要件を満たす AWS AK を事前に準備してください。簡単に設定するには、グローバル読み取り専用権限
ReadOnlyAccessを直接付与できます。
マネージド版の有効化スクリプト¶
- Guance コンソールにログインします
- 【インテグレーション】メニューをクリックし、【クラウドアカウント管理】を選択します。
- [クラウドアカウントを追加] をクリックし、[AWS] を選択して画面に必要な情報を入力します。以前にクラウドアカウント情報を設定済みの場合は、この手順をスキップしてください
- [テスト] をクリックし、成功したら [保存] をクリックします。失敗した場合は、関連設定が正しいか確認して再度テストしてください
- 【クラウドアカウント管理】の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
- クラウドアカウントの詳細ページで【インテグレーション】をクリックし、
未インストール一覧からAWS EMR Serverlessを探して【インストール】をクリックします。
手動有効化スクリプト¶
- Func コンソールにログインし、【スクリプトマーケット】から Guance のスクリプトマーケットを開いて、
integration_aws_emr_serverlessを検索します。 - 【インストール】をクリックし、AWS AK ID、AK Secret、アカウント名を入力します。
- 【起動スクリプトをデプロイ】をクリックすると、
Startupスクリプトセットと起動スクリプトが自動設定されます。regionsを実際のリージョンに、cloudwatch_configs.targetsのmetricsを収集する AWS ネイティブメトリクス名に設定し、公開して自動トリガーを有効にします。 - 有効化後は「管理 / 自動トリガー設定」で設定を確認できます。【実行】をクリックすると、定期実行を待たずにすぐ実行できます。しばらく待ってから、タスク記録とログを確認してください。
検証¶
- [管理 / 自動トリガー設定]で、対象タスクの自動トリガー設定が存在することを確認し、タスク履歴とログに異常がないか確認します。
- Guance の「インフラストラクチャ / カスタム」で資産情報が存在するか確認します
- Guance の「メトリクス」で対応する監視データがあるか確認します
メトリクス¶
AWS CloudWatch の設定後、デフォルトで以下のメトリクスを収集します。設定により追加のメトリクスも収集できます。AWS EMR Serverless のメトリクス詳細
メトリクスセットは aws_emrserverless です。
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
max_cpuallowed_maximum |
アプリケーションで許可される最大 vCPU 数 | region_id, application_id, application_name | vCPU |
max_memory_allowed_maximum |
アプリケーションで許可される最大メモリ容量 | region_id, application_id, application_name | GB |
max_storage_allowed_maximum |
アプリケーションで許可される最大ストレージ容量 | region_id, application_id, application_name | GB |
cpuallocated_average |
アプリケーションに割り当てられた vCPU 数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
idle_worker_count_average |
アプリケーションのアイドル Worker 数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
memory_allocated_average |
アプリケーションに割り当てられたメモリ容量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | GB |
pending_creation_worker_count_average |
アプリケーションで作成待ちの Worker 数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
running_worker_count_average |
アプリケーションで実行中の Worker 数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
storage_allocated_average |
アプリケーションに割り当てられたディスクストレージ容量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | GB |
total_worker_count_average |
アプリケーションで利用可能な Worker の総数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
submitted_jobs_average |
Submitted 状態のジョブ数 | region_id, application_id, application_name | count |
pending_jobs_average |
Pending 状態のジョブ数 | region_id, application_id, application_name | count |
scheduled_jobs_average |
Scheduled 状態のジョブ数 | region_id, application_id, application_name | count |
running_jobs_average |
Running 状態のジョブ数 | region_id, application_id, application_name | count |
success_jobs_average |
Success 状態のジョブ数 | region_id, application_id, application_name | count |
failed_jobs_average |
Failed 状態のジョブ数 | region_id, application_id, application_name | count |
cancelling_jobs_average |
Cancelling 状態のジョブ数 | region_id, application_id, application_name | count |
cancelled_jobs_average |
Cancelled 状態のジョブ数 | region_id, application_id, application_name | count |
worker_cpu_allocated_sum |
ジョブの Worker に割り当てられた vCPU の総数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
worker_cpu_used_sum |
ジョブの Worker が使用した vCPU の総数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
worker_memory_allocated_sum |
ジョブの Worker に割り当てられたメモリの総量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_memory_used_sum |
ジョブの Worker が使用したメモリの総量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_ephemeral_storage_allocated_sum |
ジョブの Worker に割り当てられた一時ストレージ容量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_ephemeral_storage_used_sum |
ジョブの Worker が使用した一時ストレージ容量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_storage_read_bytes_sum |
ジョブの Worker がストレージから読み取ったバイト数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | B |
worker_storage_write_bytes_sum |
ジョブの Worker がストレージに書き込んだバイト数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | B |
failed_sessions_average |
Failed 状態のセッション数 | region_id, application_name, application_id | - |
started_sessions_average |
Started 状態のセッション数 | region_id, application_name, application_id | - |
starting_sessions_average |
Starting 状態のセッション数 | region_id, application_name, application_id | - |
submitted_sessions_average |
Submitted 状態のセッション数 | region_id, application_name, application_id | - |
terminated_sessions_average |
Terminated 状態のセッション数 | region_id, application_name, application_id | - |
terminating_sessions_average |
Terminating 状態のセッション数 | region_id, application_name, application_id | - |