数据可观测¶
观测云数据可观测帮助您了解数据处理作业的运行情况、数据资产的来源及上下游依赖。您可以查看作业执行结果、追溯数据来源,并在作业失败时沿着血缘关系排查下游影响。
例如,订单原始表经过清洗作业生成订单明细表,订单明细表又被汇总作业读取。数据可观测将这些已采集的读写关系展示为:
flowchart LR
A[订单原始表] --> B[订单清洗作业]
B --> C[订单明细表]
C --> D[订单汇总作业]
D --> E[订单汇总表]
核心功能¶
进入控制台数据可观测,默认打开概览。您可以根据排查目标切换以下模块:
| 模块 | 用途 |
|---|---|
| 概览 | 查看运行次数、失败运行、失败作业、成功率和运行趋势,从最近失败运行进入作业排查。 |
| 数据目录 | 搜索数据资产,查看关联运行、字段结构、直接关系和扩展属性。 |
| 作业 | 查看作业列表和运行趋势,进入单次运行检查状态、耗时、输入输出和错误信息。 |
| 数据血缘 | 围绕一个或多个资产查看上下游关系,追溯来源或分析下游影响。 |
核心对象¶
| 对象 | 说明 |
|---|---|
| 数据集(Dataset) | 作业读取或产出的数据资产,例如表、视图、Topic、Stream 或文件数据集。 |
| 作业(Job) | 可以重复执行的数据处理任务,例如订单清洗作业。 |
| 运行(Run) | 某个作业的一次具体执行。您可以查看每次运行的状态、耗时和输入输出。 |
| 数据血缘(Lineage) | 数据资产与作业之间的依赖关系,用于说明数据从哪里来、经过哪些作业、流向哪里。 |
开始使用¶
完成数据接入后,可按以下步骤查看数据:
- 进入数据可观测 > 概览,查看运行结果。
- 在作业中选择需要排查的作业,进入运行历史,查看单次运行的状态、错误信息和输入输出。
- 在数据目录中打开相关数据资产,查看字段结构和关联作业。
- 点击查看血缘或查看下游影响,沿上下游关系继续排查。
查看数据需要具备目标工作空间的数据可观测查询权限。
查看数据¶
数据可观测展示已采集的信息。字段显示“未上报”“未知”或“—”时,表示对应信息尚不可用。
存储与计费¶
数据可观测支持多种数据存储时长,设置方式参见数据存储策略。
商业版按有效 Run 次数计费,企业版按写入流量和存储量计费。具体说明参见商业版计费逻辑和企业版计费方案。免费版额度参见版本区分。