データオブザーバビリティ¶
Guanceのデータオブザーバビリティは、データ処理ジョブの実行状況、データ資産の由来、上流・下流の依存関係を把握するのに役立ちます。ジョブの実行結果の確認、データの由来の追跡、ジョブ失敗時にはデータリネージに沿って下流への影響を調査できます。
例えば、注文元テーブルがクレンジングジョブを経て注文明細テーブルを生成し、その注文明細テーブルがさらに集計ジョブに読み込まれる場合、データオブザーバビリティではこの収集済みの読み書き関係を次のように表示します。
flowchart LR
A[订单原始表] --> B[订单清洗作业]
B --> C[订单明细表]
C --> D[订单汇总作业]
D --> E[订单汇总表]コア機能¶
コンソールのデータオブザーバビリティを開くと、デフォルトで概要が表示されます。調査目的に応じて、以下のモジュールを切り替えることができます。
| モジュール | 用途 |
|---|---|
| 概要 | 実行回数、失敗した実行、失敗したジョブ、成功率、実行傾向を確認し、最近失敗した実行からジョブの調査に進みます。 |
| データカタログ | データ資産を検索し、関連する実行、フィールド構造、直接的な関係、拡張属性を確認します。 |
| ジョブ | ジョブ一覧と実行傾向を確認し、個別の実行でステータス、所要時間、入出力、エラー情報を確認します。 |
| データリネージ | 1つまたは複数の資産を中心に上流・下流の関係を確認し、由来を追跡したり、下流への影響を分析したりできます。 |
コアオブジェクト¶
| オブジェクト | 説明 |
|---|---|
| データセット（Dataset） | ジョブが読み取る、または生成するデータ資産。例：テーブル、ビュー、トピック、ストリーム、ファイルデータセット。 |
| ジョブ（Job） | 繰り返し実行できるデータ処理タスク。例：注文クレンジングジョブ。 |
| 実行（Run） | あるジョブの1回の具体的な実行。各実行のステータス、所要時間、入出力を確認できます。 |
| データリネージ（Lineage） | データ資産とジョブ間の依存関係。データがどこから来たか、どのジョブを経由したか、どこへ流れるかを示します。 |
はじめに¶
データの取り込みが完了したら、以下の手順でデータを確認できます。
- データオブザーバビリティ > 概要を開き、実行結果を確認します。
- ジョブで調査が必要なジョブを選択し、実行履歴から各実行のステータス、エラー情報、入出力を確認します。
- データカタログで関連するデータ資産を開き、フィールド構造と関連ジョブを確認します。
- リネージを表示または下流への影響を表示をクリックして、上流・下流の関係に沿って調査を続けます。
データを表示するには、対象ワークスペースのデータオブザーバビリティのクエリ権限が必要です。
データを確認する¶
データオブザーバビリティには、収集済みの情報が表示されます。フィールドに「未報告」「不明」「—」と表示されている場合は、対応する情報がまだ利用できないことを示します。
ストレージと課金¶
データオブザーバビリティは複数のデータ保存期間をサポートしています。設定方法はデータストレージポリシーを参照してください。
商用プランでは有効なRunの回数に基づいて課金され、エンタープライズプランでは書き込みトラフィックとストレージ容量に基づいて課金されます。詳細は商用プランの課金ロジックとエンタープライズプランの課金プランを参照してください。無料プランの利用枠はエディション比較を参照してください。