데이터 카탈로그¶
데이터 관측 가능성 > 데이터 카탈로그로 이동하여 수집된 데이터 자산을 한곳에서 확인할 수 있습니다. 데이터 자산을 검색하고 필터링한 후 상세 페이지에서 필드 구조와 업스트림/다운스트림 관계를 확인할 수 있습니다.
데이터 카탈로그의 각 행은 하나의 데이터 자산을 나타냅니다. 작업 및 실행 기록은 작업에서 확인하세요.
검색 및 필터링¶
상단 검색창에서 데이터 자산을 검색하거나, 페이지 안내에 따라 필드와 값을 선택하여 필터링할 수 있습니다. 검색 문법은 검색을 참조하세요.
왼쪽의 빠른 필터를 통해서도 데이터 자산을 찾을 수 있습니다.
목록 필드¶
| 필드 | 설명 |
|---|---|
| 데이터 자산 | 데이터 자산 이름. 행을 클릭하면 자산 상세 페이지로 이동합니다. |
| 유형 | 식별된 자산 유형. 구체적인 유형을 확인할 수 없는 경우 Dataset으로 표시됩니다. |
| 데이터 플랫폼 | 데이터 자산이 속한 플랫폼. |
| 상태 | 최근 연결된 실행 상태. |
| 최근 관찰 | 해당 데이터 자산 정보가 마지막으로 수집된 시간. |
| 직접 다운스트림 | 현재 범위에서 수집된 직접 의존 객체 수. |
열 표시를 통해 목록에 표시할 내용을 조정할 수 있습니다. 여기에는 Namespace, 최근 연결된 실행, 수명 주기, Schema 필드 등이 포함됩니다.
자산 유형에는 테이블, 뷰, 구체화된 뷰, Topic, Stream, 파일 및 일반 Dataset이 포함됩니다.
목록의 상태는 연결된 작업의 실행 결과를 반영하며 데이터 품질 검사 결과를 의미하지는 않습니다.
검색 결과가 없으면 먼저 필터를 해제하세요. 그래도 데이터가 없다면 데이터 자산의 수집 구성을 확인하세요.
데이터 자산 상세¶
데이터 자산 행을 클릭하면 상세 페이지로 이동하여 개요, Schema, 데이터 계보, 관련 작업 및 확장 속성을 확인할 수 있습니다.
페이지 상단에는 이름, 유형 및 연결 상태가 표시됩니다. 새로고침을 클릭하면 현재 상세 정보를 다시 조회하고, 전체 계보 보기를 클릭하면 현재 자산을 기준으로 데이터 계보로 이동합니다.
요약 정보¶
| 정보 | 설명 |
|---|---|
| 최근 관찰 | 선택한 범위 내에서 자산 정보가 마지막으로 수집된 시간. |
| 최근 연결된 실행 | 가장 최근 연결된 실행의 상태. |
| 입력/출력 관계 | 현재 자산과 직접 관련된 읽기/쓰기 관계. |
| Schema 필드 | 보고된 Schema의 필드 수. |
| 이번 출력 행 수 | 연결된 실행에서 출력된 행 수. |
'연결 정상', '연결 이상', '연결 실행 중' 등의 상태는 가장 최근 연결된 실행의 결과를 반영합니다. 필드 수와 출력 행 수를 확인하려면 해당 정보 수집을 활성화해야 합니다.
개요¶
실행 기록¶
현재 자산의 최근 연결된 실행을 표시합니다. 시작 시간, 작업, 관계, 상태, 소요 시간, 입출력 수가 포함됩니다.
관계는 해당 자산이 실행에 어떻게 참여하는지 설명합니다.
- 입력(INPUT): 작업이 현재 자산을 읽습니다.
- 출력(OUTPUT): 작업이 현재 자산을 생성합니다.
실행 기록을 클릭하면 해당 작업으로 이동하여 실행 상세 정보를 확인할 수 있습니다. 전체 실행 보기를 클릭하면 현재 자산의 연결된 실행 페이지가 열립니다.
직접 관계¶
현재 자산과 생성 작업, 소비 작업 및 직접 관련된 데이터 자산 간의 관계를 표시합니다. 자산이나 작업을 클릭하면 해당 상세 정보를 이어서 확인할 수 있으며, 관계 범위를 확장해야 하는 경우 전체 계보 보기를 클릭하세요.
수집된 정보¶
데이터 플랫폼, 자산 유형, Schema, 필드 계보, 통계 및 품질 정보의 수집 상태를 표시합니다.
- 보고됨: 해당 정보를 획득했습니다.
- 미보고: 해당 정보를 아직 획득하지 못했습니다.
- 불완전한 파싱: 일부 정보만 획득하여 세부 내용이 불완전합니다.
Schema¶
Schema 탭에는 필드 이름, 유형, 설명 및 필드 계보가 표시됩니다.
필드 계보가 보고됨으로 표시된 경우 펼쳐서 업스트림 필드, 소스 자산, 변환 정보 및 마스킹 표시를 확인할 수 있습니다.
페이지에 'Schema 미보고' 또는 'Schema 세부 정보를 사용할 수 없음' 메시지가 표시되면 필드 구조의 수집 구성을 확인하세요. 필드 출처를 확인해야 하는 경우 필드 계보 수집도 활성화해야 합니다.
데이터 계보¶
현재 자산 상세 페이지에서 업스트림/다운스트림 계보 미리보기를 확인할 수 있습니다. 방향과 계층을 조정하고 관계 상세 정보를 확인할 수 있습니다. 다른 기준점을 계속 검색하거나 조사 범위를 넓혀야 하는 경우 전체 계보 보기를 클릭하세요.
예를 들어 현재 데이터 자산 → 소비 작업 → 출력 데이터 자산은 2계층 관계입니다.
관련 작업¶
현재 자산과 관련된 작업, 읽기/쓰기 관계, 최근 실행 시간, 상태 및 최근 성공 시간을 표시합니다. 작업을 클릭하면 작업 상세로 이동합니다.
작업의 각 실행을 확인해야 하는 경우 실행 기록에서 확인할 수 있습니다.
확장 속성¶
자산 이름, Namespace, 유형, 데이터 플랫폼, 수집 소스 등의 속성을 확인할 수 있습니다. 속성 행에서 사용 가능한 값을 복사할 수 있으며, 구체적인 표시 내용은 수집된 정보에 따라 달라집니다.
연결된 실행¶
개요에서 전체 실행 보기를 클릭하면 현재 자산의 연결된 실행 페이지로 이동합니다.
- 상단에서 작업 이름 또는 Run ID로 검색하고 실행 상태를 필터링할 수 있습니다.
- 왼쪽 목록에서 실행 기록을 선택하면 오른쪽에 실행 상세 정보가 표시됩니다.
- 작업, 읽기/쓰기 관계, 시작/종료 시간, 소요 시간, 입출력 및 오류 정보를 확인합니다.
- 다운스트림 영향 보기를 클릭하면 현재 자산을 기준으로 다운스트림 계보 분석으로 이동합니다.
- 뒤로를 클릭하면 자산 상세 페이지로 돌아갑니다.
입력 행 수와 출력 행 수는 단일 실행의 읽기/쓰기 양을 나타냅니다. 통계를 비교할 때는 실행 기록, 읽기/쓰기 방향 및 측정 단위를 함께 확인하세요.