AWS MWAA
AWS MWAA 環境のアセットと Apache Airflow の実行メトリクスを収集します。
設定¶
Func のインストール¶
Guance のインテグレーション - 拡張機能 - ホステッド Func の有効化を推奨します。前提条件はすべて自動的にインストールされるため、そのままスクリプトのインストールに進んでください。
Func を自身でデプロイする場合は、セルフホスト Func を参照してください。
スクリプトの有効化¶
ヒント:要件を満たす AWS アクセスキーを事前に用意してください(簡単に設定するには、グローバル読み取り専用権限
ReadOnlyAccessを付与できます)。
マネージド版のスクリプト有効化¶
- Guanceコンソールにログインします
- [統合] メニューをクリックし、[クラウドアカウント管理] を選択します
- [クラウドアカウントを追加] をクリックし、[AWS] を選択して画面に必要な情報を入力します。以前にクラウドアカウント情報を設定済みの場合は、この手順をスキップしてください
- [テスト] をクリックし、成功したら [保存] をクリックします。失敗した場合は、関連設定が正しいか確認して再度テストしてください
- [クラウドアカウント管理] の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
- クラウドアカウント詳細ページの【統合】ボタンをクリックし、
未インストール一覧からAWS MWAAを見つけて【インストール】をクリックし、表示されるインストール画面でそのままインストールします
手動でのスクリプト有効化¶
- Func コンソールにログインし、[スクリプトマーケット]をクリックして Guance スクリプトマーケットを開き、
integration_aws_mwaaを検索します。 - [インストール]をクリックし、AWS AK ID、AK Secret、アカウント名を入力します。
- [起動スクリプトをデプロイ]をクリックします。
Startupスクリプトセットが自動的に作成され、対応する起動スクリプトが設定されます。 - 有効化すると、[管理 / 自動トリガー設定]に対応する設定が表示されます。[実行]をクリックすると、スケジュール時刻を待たずにすぐに実行できます。しばらく待ってから、タスクの実行履歴とログを確認してください。
検証¶
- [管理 / 自動トリガー設定]で、対象タスクの自動トリガー設定が存在することを確認し、タスク履歴とログに異常がないか確認します。
- Guance の[インフラストラクチャ / カスタム]で、アセット情報が存在するか確認します。
- Guance の[メトリクス]で、対応する監視データが存在するか確認します。
メトリクス¶
メトリクスセットは aws_amazon_mwaa です。
| MetricName | MetricDescribe | Dimensions | Unit | 統計方法 | Guance のフィールド |
|---|---|---|---|---|---|
DAGDurationFailed |
失敗した DAG の実行時間 | Environment, DAG | ms | Average | dagduration_failed_average |
DAGDurationSuccess |
成功した DAG の実行時間 | Environment, DAG | ms | Average | dagduration_success_average |
DAGFileProcessingLastDuration |
直近の DAG ファイル処理時間 | Environment, DAG Filename | s | Average | dagfile_processing_last_duration_average |
DAGScheduleDelay |
DAG のスケジューリング遅延 | Environment, DAG | ms | Average | dagschedule_delay_average |
ImportErrors |
DAG のインポートエラー数 | Environment, Function | count | Average | import_errors_average |
JobEnd |
Airflow job の終了回数 | Environment, Job | count | Sum | job_end_sum |
JobStart |
Airflow job の開始回数 | Environment, Job | count | Sum | job_start_sum |
OpenSlots |
エグゼキューターの空きスロット数 | Environment, Function | count | Average | open_slots_average |
OperatorFailures |
operator の失敗回数 | Environment, Operator | count | Sum | operator_failures_sum |
PoolOpenSlots |
pool の空きスロット数 | Environment, Pool | count | Average | pool_open_slots_average |
PoolRunningSlots |
pool の実行中スロット数 | Environment, Pool | count | Average | pool_running_slots_average |
QueuedTasks |
キュー内のタスク数 | Environment, Function | count | Average | queued_tasks_average |
RunningTasks |
実行中のタスク数 | Environment, Function | count | Average | running_tasks_average |
SchedulerHeartbeat |
スケジューラーのハートビート数 | Environment, Function | count | Sum | scheduler_heartbeat_sum |
TaskInstanceFailures |
タスクインスタンスの失敗回数 | Environment, DAG, Task | count | Sum | task_instance_failures_sum |
TaskInstanceSuccesses |
タスクインスタンスの成功回数 | Environment, DAG, Task | count | Sum | task_instance_successes_sum |
TasksExecutable |
実行可能なタスク数 | Environment, Function | count | Average | tasks_executable_average |
TasksStarving |
リソース不足で待機しているタスク数 | Environment, Function | count | Average | tasks_starving_average |
TotalParseTime |
すべての DAG の解析時間 | Environment, Function | s | Average | total_parse_time_average |