数据转发至 TiDB Cloud Lake¶

将 TiDB Cloud Lake 选为转发目的地后，观测云会按照转发规则生成独立的 Parquet Batch，通过系统托管中转存储加载到指定的 Database.TargetTable，用于长期 SQL 与业务关联分析。

前提条件¶

开始配置前，请确认：

• Lake DSN：已获取，且包含有效的 Database 和 Warehouse。还没有？请先获取 Lake DSN；
• 转发规则：已完成规则名称与过滤条件的设置；
• SQL 用户权限：目标表已存在时需要写入权限；目标表不存在时还需要在目标 Database 中创建表的权限。

开始配置¶

第一步：选择转发目的地¶

在选择转发目的地中，从分析平台分组选择 TiDB Cloud Lake。

选择后，以下配置由系统固定：

第二步：填写连接信息¶

填写 Lake DSN 后，先确认 Database 和 Warehouse 已自动解析，再填写 Target Table。

第三步：测试连接¶

点击测试连接。系统会验证：

• Lake DSN 的格式与认证信息；
• Database 和 Warehouse 是否有效；
• 网络是否可连接；
• 目标表是否存在；
• 目标表已存在时，SQL 用户是否具有写入权限，以及表结构是否兼容；
• 目标表不存在时，SQL 用户是否具有在目标 Database 中创建表的权限。

测试完成后，页面会根据检查结果提示目标表状态、权限检查结果和需要处理的问题。

第四步：设置数据查看权限¶

沿用数据转发规则的权限设置：

• 不限制：工作空间成员均可查看转发数据；
• 仅指定成员可查看：仅指定角色或成员可查看。

第五步：完成规则创建¶

完成规则创建时，系统会重新检查连接信息和目标表状态，并按以下方式处理：

规则创建完成并启用后，命中规则的数据会按数据等待时间封存为 Parquet Batch，再加载到目标表。

数据等待时间¶

数据等待时间影响文件封存和加载批次频率：

数据转发不是逐条实时写入。启用规则后，需要等待首个批次封存并加载完成。

在 TiDB Cloud Lake 中验证¶

1. 等待至少一个数据等待周期；
2. 打开 TiDB Cloud Lake；
3. 使用规则中的 Database、Warehouse 和 Target Table 执行只读查询；
4. 检查是否已出现命中转发条件的数据。

可先使用限制行数的查询进行验证：

SELECT *
FROM database_name.target_table
LIMIT 10;

请将示例中的 Database 和 Target Table 替换为实际值。

配置结果¶

配置成功后，应满足：

• 规则状态为已启用；
• Database 和 Warehouse 与 Lake DSN 一致；
• 目标表存在且可写入；
• 至少一个 Parquet Batch 加载成功；
• 可在 TiDB Cloud Lake 中查询到命中规则的数据。

注意事项¶

• 数据集不是 TiDB Cloud Lake 连接必填项，不在转发目标配置中单独填写；转发数据范围由规则的数据类型和过滤条件确定。
• 更改 Target Table 只影响后续加载，不会迁移已经写入旧表的数据。
• 修改 TiDB Cloud Lake SQL 用户密码后，需要重新获取 Lake DSN 并编辑规则。
• 规则加载失败时，系统会保留失败原因并重试；修复权限、连接或表结构后可重新执行。

如果测试连接、完成规则创建或加载失败，请参考TiDB Cloud Lake 常见问题。