更新履歴¶
1.19.0(2026/08/27)¶
新機能¶
/v2/tail_samplingに zstd 送信インターフェースを追加。Datakit 2.10 が/v1/tail_sampling経由で送信する圧縮ネゴシエーションヘッダーなしの zstd パケットと互換性を確保(#110)- テールサンプリング保持データに、バウンドバッチ送信と失敗時リトライを追加。メモリオーバーフロー時のディスク書き出しを非同期処理に変更し、再起動後の復旧と終了処理を改善(#110)
機能最適化¶
- テールサンプリングで、解凍後に
trace_idを抽出し述語を再計算。ダウンストリームへの一括送信時に gzip 圧縮を使用し、リクエスト回数と転送オーバーヘッドを削減(#110) - テールサンプリングのキュー投入結果、待機時間、ディスク深度、バッチ処理ステータスなどの実行指標の記録範囲を拡充(#110)
セキュリティと可観測性¶
- メトリクス内のトークンラベルを
redactedに固定し、元のトークン断片を保持しないように変更。資格情報漏洩と高基数時系列を防止(#90) - 集約、テールサンプリング、マルチバックエンド転送エラーのマスキング処理を追加。バックエンド URL、レスポンス内容、認証情報を公開しないように変更(#90)
1.18.0(2026/08/12)¶
機能最適化¶
- テールサンプリングの
trace_id抽出パスを最適化。RawGroupIdが利用可能な場合にペイロードの重複走査を回避し、サンプリング動作は変更なし(#108) cliutilsをアップグレード。ディスクキャッシュ有効化時に容量指標を自動初期化し、クローズおよびファイルロック解放の動作を改善(#111)
問題修正¶
- Aggregate と Tail Sampling の特殊 API におけるトークン検証と受け渡しセマンティクスを統一(#88)
- トークン、書き込みルート、main/headless モードごとに無効トークンのネガティブキャッシュを分離し、クロスシナリオでの誤ブロックを防止(#106)
- 失敗キャッシュとテールサンプリングのディスクフォールバックパスにおける並行アクセス問題を修正。ディスクキューの初期化、読み取り、クローズ中のデータ競合を解消(#111)
- pprof と Prometheus の HTTP mux を分離。pprof はデフォルトで無効、有効時はループバックのみを許可し、診断リクエストの時間と同時実行数を制限(#89)
- リクエスト転送、キャッシュリプレイ、集約、テールサンプリング、Sinker ログに含まれるトークン、資格情報、グローバルタグ、ルール内容をマスキング(#104)
- システムワークスペース URL の判定を修正し、通常モードとカスケードモードにおけるトークンインジェクションの回帰テストを補完(#104)
- メイン HTTP サーバーのリクエストヘッダータイムアウト、Gin モード、IP ブラックリスト設定例、API ラッパーのエラーハンドリングを修正(#104)
セキュリティと可観測性¶
- CI で使用する Go と golangci-lint のダウンロードパッケージを固定し、アーキテクチャごとに SHA-256 を検証。リモートインストールスクリプトの直接実行パスを削除(#101)
- DataWay のデフォルトダッシュボードを更新。キュー、テールサンプリング、Sinker キャッシュ、ランタイム監視を追加(#85)
1.17.0(2026/07/14)¶
新機能¶
- OTLP HTTP/protobuf インターフェースを追加:
/otel/v1/traces、/otel/v1/metrics、/otel/v1/logs(#81) - OTLP リクエストで query
token、X-Token、Bearer token をサポート。Kodo キューおよびディスクキャッシュに統合(#81) - OTLP リクエストで Kodo のステータスコード、body、必要なヘッダーを透過的に転送(#81)
機能最適化¶
- 集約とテールサンプリングの Sinker 振り分けを最適化。1 つのグループの送信失敗が他のグループに影響しないように変更(#71)
- 無効トークンのネガティブキャッシュを、条件を満たす書き込みリクエストのみに適用(#77)
- 集約のメモリ使用量と並行処理の安定性を最適化
- テールサンプリングの滞留処理を最適化。メモリキュー満杯時にディスクに一時保存可能に変更
- ディスクキャッシュの異常時における安定性を向上
問題修正¶
- Sinker ルールキャッシュの競合問題と容量問題を修正(#93)
可観測性¶
- ファイルディスクリプタ指標
dataway_open_files_by_typeと TCP 指標dataway_tcp_connectionsを追加 - テールサンプリング、送信キュー、ワーカー、ディスク一時保存の指標を追加
1.16.1(2026/07/09)¶
問題修正¶
/v1/write/rumが空ボディを拒否し、400とdataway.emptyBodyを返すように変更。空でないボディはそのまま転送(#82)- Kodo キュー満杯時、キャッシュ可能なリクエストをディスクに書き込み。キャッシュが利用できない場合は
503を返す(#83) - 書き込み成功時のみ「キャッシュ済み」を返し、キャッシュ失敗の理由記録を改善(#83)
1.16.0(2026/07/02)¶
新機能¶
- IPv6 およびデュアルスタックデプロイをサポート。IP ホワイトリストで IPv4、IPv6、CIDR に対応(#79)
bind_ipv6/DW_BIND_IPV6およびtrusted_proxies/DW_TRUSTED_PROXIES設定を追加(#78、#79)
機能最適化¶
- Kodo の成功レスポンスが空の場合、空のボディと
Content-Typeを返さないように変更(#78) Originがあるリクエストにのみ CORS ヘッダーを返し、転送レスポンスにX-Content-Type-Options: nosniffを追加(#78)
1.15.0(2026/05/27)¶
新機能¶
- Kodo バウンドキューを追加。書き込み、アップロード、Firehose リクエストをカバー
- キューはデフォルトで有効。
DW_KODO_QUEUE_*環境変数をサポート - キュー満杯時、キャッシュ可能なリクエストをキャッシュ。キャッシュが利用できない場合は
503を返す - 無効トークンのネガティブキャッシュを追加。
DW_TOKEN_NEGATIVE_CACHE_*環境変数をサポート - ネガティブキャッシュのデフォルト TTL は
5m、最大1000トークンを保持
機能最適化¶
- 集約インターフェースにトークンとペイロードの検証を追加
- 集約送信をバックグラウンドキューに変更。3 回リトライをサポートし、
Content-MD5を追加 - 集約 proxy でリバースプロキシを再利用し、関連設定を検証
- キャッシュリプレイは現在の
remote_hostを使用。デフォルトのクリーンアップ間隔を1sに変更 - Sinker ドキュメントを更新。DataKit 2.0.0 以降、非ポイント書き込み API では通常
__dataway_apiルールは不要
可観測性¶
- Kodo キュー関連指標を追加:
dataway_kodo_queue_wait_seconds、dataway_kodo_queue_depth、dataway_kodo_queue_bytes、dataway_kodo_queue_enqueued_total、dataway_kodo_queue_full_total、dataway_kodo_queue_dispatch_total - 無効トークンネガティブキャッシュ指標を追加:
dataway_token_negative_cache_added_total、dataway_token_negative_cache_blocked_total - 集約/テールサンプリング関連指標を追加:
dataway_http_api_body_size_bytes_total、dataway_http_aggr_point_total、dataway_http_tail_sampling_trace_total、dataway_http_tail_sampling_span_total、dataway_http_tail_sampling_packet_send_total - ディスクキャッシュロック競合指標を追加:
diskcache_lock_wait_seconds、diskcache_lock_contention_total - Sinker シナリオにおけるレイテンシ指標の
sinkedラベルを修正
1.14.0(2026/04/17)¶
- セッションリプレイイメージ処理インターフェースを追加
1.13.0(2026/04/10)¶
- DataWay のバイパス集約とサンプリングサポートを追加(#67)
1.12.3(2026/03/26)¶
- 新しい v2 Sinker ヘッダーフォーマットを追加。振り分けヘッダー内の異常な数値が HTTP 標準に違反する問題を解決(#68)
1.12.2(2026/03/17)¶
- DataWay イメージの SSL 証明書を更新。カスケード構成で Openaway SSL 証明書を認識できない問題を回避(#69)
1.12.1(2025/12/25)¶
- 1.12.0 バージョンで Sinker 振り分けがリクエストを複製できない問題を修正(#66)
1.12.0(2025/12/19)¶
新機能¶
-
Sinker キャッシュメカニズムを最適化(#34)
- 新しい Sinker キャッシュメカニズムは、リクエストのハッシュ特徴(16 バイト)を使用してキャッシュ。完全なリクエスト特徴をキャッシュするのではなく、2 方向ハッシュを使用してハッシュ衝突を可能な限り回避。理論上のハッシュ衝突確率は n/2^128(n はキャッシュキーの数)
- Sinker キャッシュに TTL メカニズムとキャパシティメカニズムを追加し、メモリ使用量をさらに制限。TTL メカニズムはアクティブでないキャッシュをクリーンアップし、キャパシティメカニズムはキャッシュ内のキー数を指定制限以下に保つ。TTL とキャパシティ制限により、上記のハッシュ衝突確率がさらに低下
-
DataWay HTTP ヘッダー返却を最適化する設定を追加し、DataWay のパブリックネットワークトラフィックを削減(#65)
1.11.2(2025/11/25)¶
- DataWay から Kodo への HTTP リクエスト転送を最適化(#64)
1.11.1(2025/11/15)¶
__internal__トークンが無効になる問題を修正(#63)
1.11.0(2025/11/12)¶
新機能¶
- DataWay ベースイメージを Ubuntu 22.04 にアップグレード(#62)
- DataWay が無効トラフィックをブロックする機能をサポート(#61)
問題修正¶
- セッションリプレイおよびプロファイルの振り分けで、データを異なるワークスペースに複製できない問題を修正(#59)
1.10.0(2025/09/03)¶
新機能¶
- Langfuse データ取り込み機能を追加(#57)
1.9.0(2025/04/25)¶
新機能¶
- DataWay がデータアップロード系リクエストに
X-Pkg-Idを追加し、データ追跡を可能に(#53) - プログラムログを改善。Kodo が返すエラーコードの多くを DataKit に透過的に伝達(#52)
- API 自身で環境変数を取得する機能を追加(#55)
- ディスクキャッシュコードを更新し、特定の状況で発生する
invalid argumentエラーを特定可能に(#56)
1.8.0(2025/02/19)¶
新機能¶
- DataWay が Sinker モードで、クライアント(DataKit/Function など)から送信されたデータ報告リクエストを同時に処理可能に(#50)
1.7.0(2024/12/18)¶
新機能¶
- AWS Firehose 取り込みエントリを追加(#47)
X-Tokenによるトークン受け渡しをサポート(#43)
機能最適化¶
- 内部リサイクルのデフォルトパラメータを調整し、メモリ使用量を最適化(#49)
- Kubernetes デプロイにおけるデフォルトの YAML を最適化し、キャッシュディスクのマウント設定を調整(#48)
- 一部の内部指標を調整・追加し、DataWay デフォルトビューを更新
1.6.2(2024/12/03)¶
機能最適化¶
- HTTP レイヤーの接続設定エントリを追加(#46)
1.6.1(2024/11/19)¶
機能最適化¶
- 404 ページを無効にするオプションを追加(#44)
1.6.0(2024/09/19)¶
機能最適化¶
- ディスクキャッシュ関連の環境変数設定を最適化
- より多くの自身指標を公開し、一部の HTTP 転送レイヤーのメモリ使用量を最適化(#39)
- DataWay が自身の SNI 設定をサポート(#42)
- DataKit が正確な Unix タイムスタンプを取得できるよう、時刻同期インターフェースを追加(#40)
- Sinker:
- フィルター条件で
nil判定 をサポート。特定のフィールドの有無を判定可能に(#41) - デフォルトルール設定 を追加。既存の振り分けルールに一致しないリクエストは、すべてデフォルトルールに対応するワークスペースに転送(#30)
- フィルター条件で
1.5.0(2024/07/05)¶
機能最適化¶
- インストールスクリプトを最適化(#33)
互換性調整¶
- 新バージョンでは、ホストインストールモードでの Sinker 設定直接サポートを削除。この機能は後日新しい方法でサポート予定
1.4.1(2024/06/19)¶
- Kubernetes インストールモードでの
DW_ENABLE_TLS欠落問題を修正 - ビルドイメージアドレスを変更
1.4.0(2024/05/15)¶
- DataKit 計量インターフェースを追加(#29)
- キャッシュがデータを失う可能性がある問題を修正(#31)
- DataWay 側で直接 HTTP TLS 証明書を設定可能に(#32)
- より多くの指標を公開
1.3.9(2024/03/28)¶
- Sink がリクエストを破棄する際に、HTTP
406 Not Acceptableエラーを返すように変更。問題の特定を容易に(#82)
1.3.8(2024/01/24)¶
- より多くの指標を公開
- Sinker ルールマッチングのパフォーマンスを大幅に向上(#26)
1.3.7(2023/12/14)¶
- より多くの指標を公開
- ディスクキャッシュクリーンアップポリシーを最適化。早期消費の原則を採用:
- ストレージ超過によるデータ破棄を回避
- キャッシュされたデータをできるだけ早く送信
- 超大リクエスト破棄に関連する可観測性を追加(指標/ログ)
- DataWay 自身の POD YAML を調整し、指標とログ収集を改善
1.3.6(2023/10/24)¶
- DataWay
sink管理コマンド を追加
1.3.5(2023/09/13)¶
- Kubernetes で環境変数による DataWay インストールをサポート
- 新しい dataway.yaml を公開
1.3.4(2023/09/01)¶
- Golang を 1.9 にアップグレード
- inner token のデータ欠落問題を修正
- デフォルト設定を以下のように調整:
- デフォルト API レート制限を 100K に増加
- デフォルト最大ボディサイズを 64MB に増加
- HTTP タイムアウト設定(DataWay からセンター)を追加、デフォルト 30 秒
- TLS 509 エラーを無視する設定を追加
1.3.3(2023/09/01)¶
- イメージパッケージングの
curl問題を修正
1.3.2(2023/08/30)¶
- イメージに
curlコマンドを追加し、自身の指標を確認可能に
1.3.1(2023/08/28)¶
- URL の Sinker 機能を追加
1.3.0(2023/08/24)¶
- DataWay 実装全体をリファクタリングし、Sinker 機能を追加
1.2.12(2023/08/28)¶
- CI リリースプロセスをリファクタリングし、install スクリプトの二重リリースを実現
1.2.8(2022/09/18)¶
-
/v1/write インターフェース更新:
- 冗長な /v1/write/xxx API を削除し、/v1/write/:category インターフェースを追加
- 書き込みデータの行プロトコルデコードを廃止。ただしボディ読み取りは継続し、署名に使用
-
ディスクキャッシュ:
- キャッシュクリーンアップ中にセンターへの送信が失敗した場合、消費一時停止ポリシーを追加。現在のキャッシュリクエストの送信が成功するまで次のキャッシュをクリーンアップしない
- pbcache proto ファイルを更新