跳转至

数据可观测


观测云数据可观测帮助您了解数据处理作业的运行情况、数据资产的来源及上下游依赖。您可以查看作业执行结果、追溯数据来源,并在作业失败时沿着血缘关系排查下游影响。

例如,订单原始表经过清洗作业生成订单明细表,订单明细表又被汇总作业读取。数据可观测将这些已采集的读写关系展示为:

flowchart LR
    A[订单原始表] --> B[订单清洗作业]
    B --> C[订单明细表]
    C --> D[订单汇总作业]
    D --> E[订单汇总表]

核心功能

进入控制台数据可观测,默认打开概览。您可以根据排查目标切换以下模块:

模块 用途
概览 查看运行次数、失败运行、失败作业、成功率和运行趋势,从最近失败运行进入作业排查。
数据目录 搜索数据资产,查看关联运行、字段结构、直接关系和扩展属性。
作业 查看作业列表和运行趋势,进入单次运行检查状态、耗时、输入输出和错误信息。
数据血缘 围绕一个或多个资产查看上下游关系,追溯来源或分析下游影响。

核心对象

对象 说明
数据集(Dataset) 作业读取或产出的数据资产,例如表、视图、Topic、Stream 或文件数据集。
作业(Job) 可以重复执行的数据处理任务,例如订单清洗作业。
运行(Run) 某个作业的一次具体执行。您可以查看每次运行的状态、耗时和输入输出。
数据血缘(Lineage) 数据资产与作业之间的依赖关系,用于说明数据从哪里来、经过哪些作业、流向哪里。

开始使用

完成数据接入后,可按以下步骤查看数据:

  1. 进入数据可观测 > 概览,查看运行结果。
  2. 在作业中选择需要排查的作业,进入运行历史,查看单次运行的状态、错误信息和输入输出。
  3. 在数据目录中打开相关数据资产,查看字段结构和关联作业。
  4. 点击查看血缘或查看下游影响,沿上下游关系继续排查。

查看数据需要具备目标工作空间的数据可观测查询权限。

查看数据

数据可观测展示已采集的信息。字段显示“未上报”“未知”或“—”时,表示对应信息尚不可用。

存储与计费

数据可观测支持多种数据存储时长,设置方式参见数据存储策略。

商业版按有效 Run 次数计费,企业版按写入流量和存储量计费。具体说明参见商业版计费逻辑和企业版计费方案。免费版额度参见版本区分。

文档评价

文档内容是否对您有帮助?