更新历史¶

1.15.0(2026/05/27)¶

新增功能¶

• 新增 Kodo 有界派发队列，用于写入/上传类请求发送到 Kodo 或下一级 Dataway 前的排队和并发控制：
  • 覆盖 /v1/write/*、/v1/upload/* 和 /v1/input/firehose 请求；磁盘缓存重放请求仍走原有同步发送路径，避免缓存重放再次占用队列
  • 默认启用，默认 256 个 worker、1024 个等待槽位、1GB 队列 body 总字节上限和 100ms 入队等待时间
  • 新增 DW_KODO_QUEUE_ENABLED、DW_KODO_QUEUE_WORKERS、DW_KODO_QUEUE_SIZE、DW_KODO_QUEUE_MAX_BYTES、DW_KODO_QUEUE_ENQUEUE_TIMEOUT 环境变量；DW_KODO_QUEUE_MAX_BYTES 支持 1GB、1024MB 等写法
  • 当队列槽位或队列 body 字节数达到上限且等待超时时，Dataway 返回 503
• 新增无效 token 负缓存：
  • 对 Kodo 返回的 kodo.tokenNotFound 和 kodo.invalidClientToken 结果做短期缓存，减少重复无效 token 对 Kodo 的请求压力
  • 默认启用，默认 TTL 为 5m，最多缓存 1000 个 token；支持 DW_TOKEN_NEGATIVE_CACHE_ENABLED、DW_TOKEN_NEGATIVE_CACHE_TTL、DW_TOKEN_NEGATIVE_CACHE_MAX_KEYS 配置

功能优化¶

• 加固聚合和尾采样链路：
  • 聚合接口增加 token 校验，支持将校验后的 token 回写到请求 query 和 X-Token
  • 聚合 payload 增加空 batch、空 point、空聚合算法以及非法 window 校验
  • 聚合数据发送改为后台 worker 队列，并增加 3 次重试；发送到 Kodo 的聚合/尾采样 payload 增加 Content-MD5
  • 聚合 proxy 模式复用反向代理实例，并对 backend endpoint、pick key 等异常配置做显式校验
• 优化磁盘缓存回放：
  • 缓存重放时只复用缓存中的 path/query，scheme 和 host 使用当前 remote_host，避免缓存中保存的历史 host 影响级联或配置变更后的重放
  • 默认磁盘缓存清理间隔从 30s 调整为 1s
  • 增加磁盘缓存读到 EOF 后切换下一个数据文件、并发写入时读指针持续推进等测试覆盖
• 优化 Sinker 文档：DataKit 2.0.0 及以后非 point 写入类 API 不再携带 Sinker header，通常无需再为这些 API 配置 __dataway_api 特殊分流规则；旧版本兼容规则仍保留说明

可观测性¶

• 新增 Kodo 队列相关指标：dataway_kodo_queue_wait_seconds、dataway_kodo_queue_depth、dataway_kodo_queue_bytes、dataway_kodo_queue_enqueued_total、dataway_kodo_queue_full_total、dataway_kodo_queue_dispatch_total
• 新增无效 token 负缓存指标：dataway_token_negative_cache_added_total、dataway_token_negative_cache_blocked_total
• 新增聚合/尾采样相关指标：dataway_http_api_body_size_bytes_total、dataway_http_aggr_point_total、dataway_http_tail_sampling_trace_total、dataway_http_tail_sampling_span_total、dataway_http_tail_sampling_packet_send_total
• 新增磁盘缓存锁竞争指标：diskcache_lock_wait_seconds、diskcache_lock_contention_total
• 修复 Sinker 场景下 Dataway HTTP API latency 指标的 sinked 标签取值

1.14.0(2026/04/17)¶

• 新增 session replay image 处理接口

1.13.0(2026/04/10)¶

• 新增 Dataway 旁路聚合和采样支持（#67）

1.12.3(2026/03/26)¶

• 新增 v2 Sinker header 格式，以解决分流 header 中异常数值导致违反 HTTP 标准的问题（#68）

1.12.2(2026/03/17)¶

• 更新 DataWay 镜像 SSL 证书，避免级联情况下无法识别 Openaway SSL 证书（#69）

1.12.1(2025/12/25)¶

• 修复 1.12.0 版本中 Sinker 分流无法复制请求的问题（#66）

1.12.0(2025/12/19)¶

新增功能¶

• 优化 Sinker 缓存机制（#34）

  • 新的 sinker 缓存机制通过请求的哈希特征（16 byte）来缓存，而不是完整缓存完整的请求特征，通过两路哈希来尽量避免哈希冲突，理论上哈希冲突概率为 n/2^128，n 即缓存的 key 的个数
  • Sinker 缓存增加 TTL 机制以及 capacity 机制，使得内存占用进一步被限制：TTL 机制会清理那些不活跃的缓存，capacity 机制旨在保证缓存中 key 的个数不超过指定的限制。同时 TTL 和 capacity 限制使得上面的哈希冲突概率进一步降低

• 新增配置优化 Dataway HTTP header 返回，降低 Dataway 公网流量（#65）

1.11.2(2025/11/25)¶

• 优化 Dataway 转发 Kodo 的 HTTP 请求（#64）

1.11.1(2025/11/15)¶

• 修复 __internal__ token 无效问题（#63）

1.11.0(2025/11/12)¶

新增功能¶

• 升级 DataWay 基础镜像到 Ubuntu 22.04（#62）
• DataWay 支持阻挡无效流量（#61）

问题修复¶

• 修复 session replay 以及 profile 分流无法复制数据到不同空间的问题（#59）

1.10.0(2025/09/03)¶

新增功能¶

• 增加 Langfuse 数据接入功能（#57）

1.9.0(2025/04/25)¶

新增功能¶

• Dataway 在数据上传类请求中增加 X-Pkg-Id 以便数据追踪（#53）
• 完善程序日志，更多 Kodo 返回的错误码将透传给 DataKit（#52）
• 新增 API 自持拉取环境变量（#55）
• 更新磁盘缓存代码，以定位部分情况下出现的 invalid argument 报错（#56）

1.8.0(2025/02/19)¶

新增功能¶

• Dataway 开启 Sinker 模式下，支持同时处理客户端（如 DataKit/Function）发送过来的数据上报请求（#50）

1.7.0(2024/12/18)¶

新增功能¶

• 新增 AWS Firehose 接入入口（#47）
• 支持通过 X-Token 传递 token（#43）

功能优化¶

• 调整内部回收的默认参数，优化内存使用（#49）
• 优化 Kubernetes 部署中的默认 yaml，调整其 cache 磁盘挂载配置（#48）
• 调整并增加部份内部指标，更新 Dataway 默认视图

1.6.2(2024/12/03)¶

功能优化¶

• 增加 HTTP 层面的连接配置入口（#46）

1.6.1(2024/11/19)¶

功能优化¶

• 增加选项以禁用 404 页面（#44）

1.6.0(2024/09/19)¶

功能优化¶

• 优化磁盘缓存相关的环境变量配置
• 增加更多自身指标暴露，同时优化了一些 HTTP 转发层面内存的使用（#39）
• Dataway 支持配置自身 SNI（#42）
• 新增对时接口，便于 DataKit 获取较为准确的 Unix 时间戳（#40）
• Sinker：
  • 过滤条件支持 nil 判断，即判定某个具体的字段是否存在（#41）
  • 增加默认规则设置，即不符合已有分流规则的请求，都会引流到该默认规则对应的工作空间（#30）

1.5.0(2024/07/05)¶

功能优化¶

• 优化安装脚本（#33）

兼容调整¶

• 新版本移除了主机安装模式下直接支持 Sinker 配置的功能。该功能后续会通过新的方式予以支持。

1.4.1(2024/06/19)¶

• 修复 Kubernetes 安装模式下 DW_ENABLE_TLS 缺失问题
• 更换构建镜像地址

1.4.0(2024/05/15)¶

• 新增 DataKit 计量接口（#29）
• 修复 cache 可能丢失数据的问题（#31）
• 支持在 Dataway 端直接配置 HTTP TLS 证书（#32）
• 增加更多指标暴露

1.3.9(2024/03/28)¶

• Sink 丢弃请求时，增加返回 HTTP 406 Not Acceptable 错误，便于排查问题（#82）

1.3.8(2024/01/24)¶

• 新增更多指标暴露
• 大幅度提升 Sinker 规则匹配性能（#26）

1.3.7(2023/12/14)¶

• 新增更多指标暴露
• 优化磁盘缓存清理策略，采集尽快消费原则：
  • 避免存储超限导致数据主动丢弃
  • 同时尽早将缓存的数据发送上去
• 增加超大请求丢弃相关的可观测性（指标/日志）
• 调整 Dataway 自身 POD yaml，完善其指标和日志采集

1.3.6(2023/10/24)¶

• 新增 Dataway sink 管理命令

1.3.5(2023/09/13)¶

• Kubernetes 下支持通过环境变量注入来安装 Dataway
• 新发布了 dataway.yaml

1.3.4(2023/09/01)¶

• 升级 Golang 到 1.9
• 修复 inner token 无数据问题
• 默认配置中调整如下配置：
  • 默认 API 限流增加到 100K
  • 默认最大 Body 增加到 64MB
  • 新增 HTTP 超时设置（Dataway 到中心），默认 30s
  • 新增配置以忽略 TLS 509 报错

1.3.3(2023/09/01)¶

• 修复镜像打包 curl 问题

1.3.2(2023/08/30)¶

• 镜像中增加 curl 命令，便于查看自身指标

1.3.1(2023/08/28)¶

• 增加 URL 的 Sinker 功能

1.3.0(2023/08/24)¶

• 重构整个 Dataway 实现，增加 Sinker 功能

1.2.12(2023/08/28)¶

• 重构 CI 发布流程，实现 install 脚本双发布

1.2.8(2022/09/18)¶

• /v1/wirte 接口更新：

  • 移除冗余的 /v1/write/xxx API，增加 /v1/write/:category 接口
  • 写入数据不再进行行协议解码，但仍然进行 Body 读取，用于签名

• 磁盘缓存：

  • 当缓存清理过程中发送中心失败，增加消费暂停策略，直到当前缓存的请求发送成功才清理下一个缓存
  • 更新 pbcache proto 文件