データカタログ¶
データオブザーバビリティ > データカタログに移動すると、収集済みのデータ資産を一元的に確認できます。データ資産を検索・フィルタリングし、詳細ページでフィールド構造や上流・下流の関係を確認できます。
データカタログの各行は 1 つのデータ資産を表します。ジョブとその実行履歴はジョブで確認できます。
検索とフィルタリング¶
上部の検索ボックスでデータ資産を検索したり、ページの案内に従ってフィールドと値を選択してフィルタリングできます。検索構文については検索を参照してください。
左側のショートカットフィルターからデータ資産を探すこともできます。
リストのフィールド¶
| フィールド | 説明 |
|---|---|
| データ資産 | データ資産の名前。行をクリックすると資産の詳細に移動します。 |
| タイプ | 識別された資産タイプ。具体的なタイプを確認できない場合は Dataset と表示されます。 |
| データプラットフォーム | データ資産が属するプラットフォーム。 |
| ステータス | 直近の関連実行のステータス。 |
| 直近の観測 | このデータ資産の情報が最後に収集された時刻。 |
| 直接の下流 | 現在の範囲で収集済みの直接依存オブジェクトの数。 |
列の表示を使用すると、リストの表示内容を調整できます。Namespace、直近の関連実行、ライフサイクル、Schema フィールドなどが含まれます。
資産タイプには、テーブル、ビュー、マテリアライズドビュー、Topic、Stream、ファイル、および汎用 Dataset が含まれます。
リスト内のステータスは関連ジョブの実行結果を反映したものであり、データ品質チェックの結果を示すものではありません。
クエリで一致する結果がない場合は、まずフィルターをクリアしてください。それでもデータがない場合は、データ資産の収集設定を確認してください。
データ資産の詳細¶
データ資産の行をクリックすると詳細が表示され、概要、Schema、データリネージ、関連ジョブ、拡張属性を確認できます。
ページ上部には、名前、タイプ、関連ステータスが表示されます。更新をクリックすると、現在の詳細情報を再クエリします。完全なリネージを表示をクリックすると、現在の資産をアンカーとしてデータリネージに移動します。
サマリー情報¶
| 情報 | 説明 |
|---|---|
| 直近の観測 | 選択した範囲内で資産情報が最後に収集された時刻。 |
| 最新の関連実行 | 最新の関連実行のステータス。 |
| 入力 / 出力関係 | 現在の資産に直接関連する読み取り / 書き込み関係。 |
| Schema フィールド | 報告された Schema 内のフィールド数。 |
| 今回の出力行数 | 関連実行の出力行数。 |
「関連正常」「関連異常」「関連実行中」などのステータスは、最新の関連実行の結果を反映します。フィールド数と出力行数を表示するには、対応する情報収集を有効にする必要があります。
概要¶
実行記録¶
現在の資産の最新の関連実行を表示します。開始時刻、ジョブ、関係、ステータス、所要時間、入出力数が含まれます。
関係は、この資産が実行にどのように関与するかを示します。
- 入力(INPUT):ジョブが現在の資産を読み取ります。
- 出力(OUTPUT):ジョブが現在の資産を生成します。
実行記録をクリックすると、対応するジョブの実行詳細を確認できます。すべての実行を表示をクリックすると、現在の資産の関連実行ページが開きます。
直接関係¶
現在の資産と、生成ジョブ、消費ジョブ、および直接関連するデータ資産との関係を表示します。資産またはジョブをクリックすると、対応する詳細をさらに確認できます。関係の範囲を広げるには、完全なリネージを表示をクリックします。
収集済み情報¶
データプラットフォーム、資産タイプ、Schema、フィールドリネージ、統計情報、品質情報の収集状況を表示します。
- 報告済み:対応する情報を取得済み。
- 未報告:対応する情報をまだ取得していない。
- 解析が不完全:一部の情報を取得済みだが、詳細が不完全。
Schema¶
Schema タブには、フィールド名、タイプ、説明、フィールドリネージが表示されます。
フィールドリネージが報告済みとマークされている場合は、展開して上流フィールド、ソース資産、変換情報、マスキングマークを確認できます。
ページに「Schema 未報告」または「Schema 詳細を利用不可」と表示される場合は、フィールド構造の収集設定を確認してください。フィールドのソースを確認する必要がある場合は、フィールドリネージ収集も有効にしてください。
データリネージ¶
現在の資産の詳細で、上流 / 下流のリネージプレビューを確認できます。方向と階層を調整し、関係の詳細を表示できます。他のアンカーを検索したり、調査範囲を広げたりする場合は、完全なリネージを表示をクリックします。
たとえば、「現在のデータ資産 → 消費ジョブ → 出力データ資産」は 2 階層の関係です。
関連ジョブ¶
現在の資産に関連するジョブと、読み取り / 書き込み関係、直近の実行時刻、ステータス、最終成功時刻を表示します。ジョブをクリックするとジョブ詳細に移動します。
ジョブの実行ごとの履歴を確認する場合は、実行履歴を開きます。
拡張属性¶
資産名、Namespace、タイプ、データプラットフォーム、収集ソースなどの属性を確認できます。属性行で利用可能な値をコピーできます。表示内容は収集済みの情報によって異なります。
関連実行¶
概要ですべての実行を表示をクリックすると、現在の資産の関連実行ページが開きます。
- 上部でジョブ名または Run ID で検索し、実行ステータスでフィルタリングすることもできます。
- 左側のリストで実行記録を選択すると、右側に実行詳細が表示されます。
- ジョブ、読み取り / 書き込み関係、開始・終了時刻、所要時間、入力 / 出力、エラー情報を確認できます。
- 下流への影響を表示をクリックすると、現在の資産をアンカーとして下流リネージ分析に移動します。
- 戻るをクリックすると、資産詳細に戻ります。
入力行数と出力行数は、1 回の実行における読み取り / 書き込み量を示します。統計を比較するときは、実行記録、読み取り / 書き込みの方向、計量単位をあわせて確認してください。