跳转至

数据转发至 AWS S3

  1. 完成规则名称与过滤条件的设置；
  2. 继续配置存档。

开始配置

  1. 存档类型选择 AWS S3，即表示将匹配到的数据保存到该对象存储中；

  2. 选择存储格式；

  3. 选择是否加密存储；

  4. 选择访问类型；
  5. 点击确定，即可创建成功。
注意

若存档类型信息有变动，需确认关联平台的配置已同步更新，从而避免由于配置变化导致数据写入失败的情况。新的配置规则将在 5 分钟内生效。

Apache Iceberg

Apache Iceberg 是一种开放表格式（Open Table Format）。存储格式选择 Apache Iceberg 后，观测云会将数据以 Parquet 文件通过 REST Catalog 写入您的 Iceberg 表，数据可直接被 Spark、Trino、Flink 等数据湖引擎读取，并具备 Schema 演化、快照等表能力。

注意

Iceberg 格式当前仅支持写入，不支持在观测云内查询存档数据，该规则在“数据查看页”中不可选。如需查询，请通过外部查询引擎连接同一个 Catalog 读取。

  1. 存储格式选择 Apache Iceberg（❗️选择后，页面不再展示“加密存储”与“数据等待时间”配置项）；

  2. 在 Iceberg Catalog 中选择 Catalog Provider，并填写 Catalog URI 和 Warehouse（均为必填）。不同 Provider 的取值格式不同：

    Catalog Provider Catalog URI Warehouse 取值
    通用 REST Catalog REST Catalog 地址，如 https://catalog.example.com，不要手动追加 /v1 Warehouse 存储地址，如 s3://warehouse/observability
    AWS S3 Tables https://s3tables.<region>.amazonaws.com/iceberg 完整的 Table Bucket ARN，如 arn:aws:s3tables:<region>:<account-id>:bucket/<bucket-name>（中国区 ARN 前缀为 arn:aws-cn）
    AWS Glue https://glue.<region>.amazonaws.com/iceberg 12 位 AWS 主账号 ID（非 IAM 用户 ID），如 294654068288
    • 若选择“通用 REST Catalog”，还可选填 Endpoint：如需向私有云或自定义 S3 地址转发数据，可填写 Endpoint；公有云场景建议留空，系统将自动判断是否可使用内网转发。填写 Endpoint 后，将按公网转发计费。

  3. 在 目标表 中填写 Namespace（单层命名空间，不能包含 .）和 Table（表名）；若表不存在将自动创建，数据按 hour(date) 自动分区；

  4. 选择 Catalog 认证 方式，并填写对应凭证：

    • 通用 REST Catalog，支持以下认证方式：

      • 无需认证：无需填写；
      • Basic Auth：填写 Credential（username:password）；
      • Bearer Token：填写 Token；
      • OAuth2：填写 Credential（client-id:client-secret），可选填 OAuth2 Server URI，不填时使用 Catalog 默认地址；

    • AWS S3 Tables / AWS Glue：固定使用 SigV4，无需额外配置，自动复用上方配置的 AWS 访问凭证；

  5. 按下方访问类型说明完成授权及存档信息配置；

  6. 点击“测试连接”，验证存储桶与 Catalog 的连通性，通过后点击确定即可保存当前规则。

注意
  • 规则创建后，存储格式、地区、Catalog URI、Warehouse、Namespace、Table 均不支持修改；存储桶、存储路径支持修改，变更逻辑与现有规则一致；
  • 暂不支持自定义分区规则、文件格式、表属性等配置；
  • 存储路径命名规范与现有规则一致。

访问类型

角色授权

  1. 须使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权；

  2. 在 AWS 中配置观测云 IAM 角色后，填写存档信息，填入 AWS 账号 ID、AWS 角色名称、地区及存储桶名称；

  3. 填入存储路径，方便后续进一步区分和查找数据转发的具体位置；

  4. 点击“测试连接”，若上述信息满足规范，则提示测试连接成功。点击确定即可保存当前规则。

存储路径命名规范
  1. 创建单个文件夹和多层级文件夹，斜杠（/）表示创建多层级文件夹。
  2. 文件夹名称不能以斜杠（/）开头或结尾。
  3. 不能包含两个以上相邻的斜杠（/）。
  4. 适用于所有访问类型。
注意
  • 若填入的文件夹不存在，观测云将直接创建，数据仍会存入该路径下。
  • 请谨慎变更存储路径，由于更新配置存在 5 分钟左右的延迟，变更后可能会有部分数据依然转发到原目录下。
若未通过测试：

您需确认：

  • 外部 ID 是否失效；
  • 账号 ID 是否正确；
  • 账号角色是否存在；
  • 存储桶是否存在；
  • Region 是否不一致。

当出现以下情况，需谨慎操作：

  • 若您点击重新生成外部 ID，历史 ID 将于 24 小时后失效，请尽快前往 AWS 控制台替换；
  • 不要多次点击生成外部 ID，请谨慎操作！

Access Keys

  1. 点击下载 AWS 资源授权模板，前往 AWS 中配置观测云 IAM 策略；
  2. 配置完成后，填写账号信息，输入 AWS AK & SK、地区及 Bucket 名称；
  3. 填入存储路径，方便后续进一步区分和查找数据转发的具体位置；
  4. 点击“测试连接”，若上述信息满足规范，则提示测试连接成功；
若未通过测试：

您需确认：

  • 账号 ID 是否正确
  • AK / SK 是否存在
  • 存储桶是否存在
  • Region 是否不一致

账号授权

  1. AWS 提供跨账号授权能力，您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略；

  2. 配置完成后，选择地区并输入存储桶名称；

  3. 填入存储路径，方便后续进一步区分和查找数据转发的具体位置；

  4. 点击“测试连接”，若上述信息满足规范，则提示测试连接成功。点击确定即可保存当前规则。

若未通过测试：

您需确认：

  • 账号 ID 是否正确
  • 存储桶是否存在
  • Region 是否不一致

数据等待时间

数据会先写入本地临时文件，当文件大小达到 256 MB 或等待时间达到设定值时，系统会自动压缩并上传。您可以根据实际需求调整等待时间，包括 15 分钟、30 分钟、1 小时：

  • 设置较短，下游数据延迟更低，但会产生更多文件
  • 设置较长，文件数量更少，但下游数据延迟会相应增加
注意

存储格式为 Apache Iceberg 时，不涉及该配置。

后续步骤

继续配置当前转发规则下的数据查看权限。

注意

存储格式为 Apache Iceberg 时，当前仅支持写入，无需配置数据查看权限。

文档评价

文档内容是否对您有帮助？