コンテンツにスキップ

更新履歴

1.22.2(2026/11/10)

新機能

  • オプションのテールサンプリング spill を追加。メモリ予算が不足した場合に判定待ちのグループをディスクに退避し、リソース制限、使用量、エラーのメトリクス、および Sinker によるポイントタグ単位の振り分けをサポート(!234、!235)
  • spill の設定、容量見積もり、Kubernetes ストレージデプロイ、トラブルシューティングガイドを追加(!236)

不具合修正

  • 旧版 raw テールサンプリングで小さなパケットを再圧縮した後、受信には成功しても下流に配信されないことがある問題を修正(!235)
  • テールサンプリング spill の複数ターゲット振り分けにおいて、失敗したターゲットの再試行が継続して同じグループの他のターゲットをブロックする問題を修正。成功したターゲットには重複送信しない(#138)

1.22.1(2026/11/10)

新機能

  • テールサンプリング段階の所要時間、送信滞留バイト数と予算、圧縮前後のバイト量のメトリクスを追加(#135)

機能改善

  • テールサンプリングのバッチ送信とバッファ再利用を最適化し、解凍、バッチ化、送信過程における重複した割り当てとコピーを削減(#133)
  • HTTP アクセスログを無効化した際のリクエスト処理オーバーヘッドを低減。gin_log: "" 設定に適用されます(#133)

互換性に関する注意

  • テールサンプリングの直接送信および Sinker 振り分けによる下流リクエストは、デフォルトで gzip から zstd に変更され、自動ネゴシエーションやフォールバックは行いません。アップグレード前に、すべての下流 KodoX Point Worker が zstd をサポートしていることを確認してください。キャッシュ再生時は元のエンコーディングとリクエストボディを保持します(#133)

1.22.0(2026/11/09)

不具合修正

  • Go を 1.26.10 にアップグレードし、crypto/x509 の証明書信頼に関するセキュリティ問題を修正(CVE-2026-111943 / GO-2026-6809)(#130)

機能改善

  • tracing テールサンプリングが同一 trace の複数シャードを処理する際のパフォーマンスを最適化(#129)

互換性に関する注意

  • メインイメージのベースシステムを Ubuntu 22.04 から 24.04 にアップグレードし、linux/amd64 と linux/arm64 をサポート(#131)

1.21.0(2026/10/14)

新機能

  • OpenLineage のデータ取り込み、gzip 転送、Sinker 振り分けをサポート(#112、#122)
  • OCSF 受信インターフェースを追加し、バッチデータをサポートして ocsf ログインデックスに書き込みます(#120)

不具合修正

  • 不正な集約パラメーターによってプロセスが異常になる可能性がある問題を修正(#117)
  • 停止したアップロードが長期間にわたり同時実行スロットを占有する問題、およびプロキシ応答のステータスコードが正しくない問題を修正(#118)

機能改善

  • HTTP タイムアウト制御を改善し、停止したリクエストが長期間リソースを占有しないようにしました(#118)
  • ログ内の token マスキングを統一し、先頭 8 文字と末尾 4 文字を保持、短い token はすべて非表示にしました(#121)

互換性に関する注意

  • 下流の 4xx は元のステータスコードを保持し、エラーボディの解析に失敗した場合は {} を返し、500 に変更しないようにしました(#124)

1.20.0(2026/09/10)

新機能

  • Body 読み取り前の HTTP 同時実行制限を追加し、kodo_queue.workers(DW_KODO_QUEUE_WORKERS、デフォルト 256)を再利用します。上限に達した後、最大 128 リクエストまで追加で待機し、最長 1s 待機します。Kodo ディスパッチキューを無効化してもこの制限は有効で、Body のないリクエストはカウントされません(#115)
  • dataway_http_concurrency_in_flight、dataway_http_concurrency_waiting、dataway_http_concurrency_requests_total、dataway_http_concurrency_wait_seconds のメトリクスを追加し、処理中のリクエスト数、待機数、許可結果、待機時間を観測できるようにしました(#115)

不具合修正

  • /api/public/ingestion において、アップストリームが成功したが応答ボディが空の場合に Langfuse SDK 4.x と互換性がない問題を修正:リクエストバッチ内のイベント ID に従って successes/errors JSON を返し、アップストリームに既存の JSON 応答内容を保持します(#116)

互換性に関する注意

  • HTTP 同時実行待機キューが満杯または待機タイムアウトの場合、登録済みの DK 互換インターフェースは 503 を返し、その他のインターフェースは 429 を返します。いずれも Retry-After: 1 を含みます。これらの拒否されたリクエストはディスクキャッシュに入りません(#115)
  • HTTP/1.x リクエストが同時実行制限で拒否された場合、残りの Body の読み取りを終了し、レスポンス返却後に接続を閉じることで、未完了のアップロードを待機しないようにします。クライアントが再試行する際は新しい接続を確立する必要があります(#115)

1.19.0(2026/08/27)

新機能

  • /v2/tail_sampling zstd 送信インターフェースを追加し、Datakit 2.10 が /v1/tail_sampling 経由で送信する、圧縮ネゴシエーション header なしの zstd packet と互換性を持たせました(#110)
  • テールサンプリングの保持データに対して、有界バッチ送信と失敗時の再試行を追加し、メモリオーバーフロー時のディスク退避を非同期処理に変更し、再起動時の復旧と終了時の後処理機構を改善しました(#110)

機能改善

  • テールサンプリングは解凍後に trace_id を抽出して述語を再計算し、下流へのバッチ送信時に gzip 圧縮を使用することで、リクエスト回数と転送オーバーヘッドを削減しました(#110)
  • テールサンプリングキューの送信結果、待機時間、ディスク深度、バッチ処理状態などの運用メトリクスの記録範囲を改善しました(#110)

セキュリティとオブザーバビリティ

  • メトリクス内の token ラベルを redacted に固定し、元の token 断片を保持しないことで、認証情報の漏えいと高基数の時系列を回避しました(#90)
  • 集約、テールサンプリング、マルチバックエンド転送のエラーをマスキングし、バックエンド URL、応答内容、認証情報を公開しないようにしました(#90)

1.18.0(2026/08/12)

機能改善

  • テールサンプリングの trace_id 抽出パスを最適化し、RawGroupId が利用可能な場合は payload の重複走査を回避し、サンプリング動作は変更しないようにしました(#108)
  • cliutils をアップグレードし、ディスクキャッシュを開いた後に容量メトリクスを自動初期化し、クローズおよびファイルロック解放の動作を改善しました(#111)

不具合修正

  • Aggregate と Tail Sampling の特殊 API における token 検証と受け渡しのセマンティクスを統一しました(#88)
  • token、書き込みルート、main/headless モードごとに無効 token のネガティブキャッシュを分離し、シナリオをまたぐ誤ったブロックを回避しました(#106)
  • 失敗キャッシュとテールサンプリングのディスクフォールバック経路における同時アクセス問題を修正し、ディスクキューの初期化、読み取り、クローズ中のデータ競合を回避しました(#111)
  • pprof と Prometheus の HTTP mux を分離しました。pprof はデフォルトで無効で、有効時は loopback のみをリッスンし、診断リクエストの時間と同時実行数を制限します(#89)
  • リクエスト転送、キャッシュ再生、集約、テールサンプリング、Sinker ログ内の token、認証情報、グローバルタグ、ルール内容をマスキングしました(#104)
  • システムワークスペース URL の判定を修正し、通常モードとカスケードモードでの token インジェクションの回帰検証を補完しました(#104)
  • メイン HTTP Server のリクエストヘッダータイムアウト、Gin mode、IP ブロックリスト設定例、API wrapper のエラー処理を修正しました(#104)

セキュリティとオブザーバビリティ

  • CI で使用する Go と golangci-lint のダウンロードパッケージを固定し、アーキテクチャごとに SHA-256 を検証し、リモートインストールスクリプトを直接実行する経路を削除しました(#101)
  • DataWay のデフォルトダッシュボードを更新し、キュー、テールサンプリング、Sinker キャッシュ、ランタイム監視を追加しました(#85)

1.17.0(2026/07/14)

新機能

  • OTLP HTTP/protobuf インターフェースを追加:/otel/v1/traces、/otel/v1/metrics、/otel/v1/logs(#81)
  • OTLP リクエストは query token、X-Token、Bearer token をサポートし、Kodo キューとディスクキャッシュに接続します(#81)
  • OTLP リクエストは Kodo のステータスコード、body、必要な header をパススルーできます(#81)

機能改善

  • 集約とテールサンプリングの Sinker 振り分けを最適化し、単一グループの送信失敗が他のグループに影響しないようにしました(#71)
  • 無効 token のネガティブキャッシュは条件を満たす書き込みリクエストにのみ作用します(#77)
  • 集約のメモリ使用量と同時実行の安定性を最適化しました
  • テールサンプリングのバックログ処理を最適化し、メモリキューが満杯の場合は一時的にディスクに退避できるようにしました
  • ディスクキャッシュ異常時の安定性を向上しました

不具合修正

  • Sinker ルールキャッシュの競合と容量の問題を修正しました(#93)

オブザーバビリティ

  • ファイルディスクリプターメトリクス dataway_open_files_by_type と TCP メトリクス dataway_tcp_connections を追加
  • テールサンプリング、送信キュー、worker、ディスク一時退避のメトリクスを追加

1.16.1(2026/07/09)

不具合修正

  • /v1/write/rum は空の body を拒否し、400 と dataway.emptyBody を返します。空でない body は引き続きそのまま転送されます(#82)
  • Kodo キューが満杯の場合、キャッシュ可能なリクエストをディスクに書き込みます。キャッシュが利用できない場合は 503 を返します(#83)
  • 書き込み成功後にのみ「キャッシュ済み」を返し、キャッシュ失敗理由の記録を改善しました(#83)

1.16.0(2026/07/02)

新機能

  • IPv6 とデュアルスタックデプロイを追加し、IP 許可リストは IPv4、IPv6、CIDR をサポート(#79)
  • bind_ipv6/DW_BIND_IPV6 と trusted_proxies/DW_TRUSTED_PROXIES 設定を追加(#78、#79)

機能改善

  • Kodo の成功応答が空の場合、空の body と Content-Type を返さないようにしました(#78)
  • Origin を含むリクエストにのみ CORS header を返し、転送レスポンスに X-Content-Type-Options: nosniff を追加しました(#78)

1.15.0(2026/05/27)

新機能

  • Kodo の有界キューを追加し、書き込み、アップロード、Firehose リクエストを対象にしました
  • キューはデフォルトで有効で、DW_KODO_QUEUE_* 環境変数をサポートします
  • キューが満杯の場合はキャッシュ可能なリクエストをキャッシュします。キャッシュが利用できない場合は 503 を返します
  • 無効 token のネガティブキャッシュを追加し、DW_TOKEN_NEGATIVE_CACHE_* 環境変数をサポートします
  • ネガティブキャッシュのデフォルト TTL は 5m で、最大 1000 個の token を保存します

機能改善

  • 集約インターフェースに token と payload の検証を追加
  • 集約送信をバックグラウンドキューに変更し、3 回の再試行をサポート、Content-MD5 を追加
  • 集約 proxy はリバースプロキシを再利用し、関連設定を検証
  • キャッシュ再生は現在の remote_host を使用し、デフォルトのクリーンアップ間隔を 1s に変更
  • Sinker ドキュメントを更新。DataKit 2.0.0 以降、非 point 書き込み API では通常 __dataway_api ルールは不要です

オブザーバビリティ

  • Kodo キュー関連のメトリクスを追加:dataway_kodo_queue_wait_seconds、dataway_kodo_queue_depth、dataway_kodo_queue_bytes、dataway_kodo_queue_enqueued_total、dataway_kodo_queue_full_total、dataway_kodo_queue_dispatch_total
  • 無効 token のネガティブキャッシュメトリクスを追加:dataway_token_negative_cache_added_total、dataway_token_negative_cache_blocked_total
  • 集約/テールサンプリング関連のメトリクスを追加:dataway_http_api_body_size_bytes_total、dataway_http_aggr_point_total、dataway_http_tail_sampling_trace_total、dataway_http_tail_sampling_span_total、dataway_http_tail_sampling_packet_send_total
  • ディスクキャッシュのロック競合メトリクスを追加:diskcache_lock_wait_seconds、diskcache_lock_contention_total
  • Sinker シナリオにおける遅延メトリクスの sinked ラベルを修正

1.14.0(2026/04/17)

  • セッションリプレイ画像処理インターフェースを追加

1.13.0(2026/04/10)

  • DataWay のバイパス集約とサンプリングをサポート(#67)

1.12.3(2026/03/26)

  • 振り分け header 内の異常な数値が HTTP 標準違反を引き起こす問題を解決するため、v2 Sinker header 形式を追加(#68)

1.12.2(2026/03/17)

  • DataWay イメージの SSL 証明書を更新し、カスケード時に Openaway SSL 証明書を認識できない問題を回避(#69)

1.12.1(2025/12/25)

  • 1.12.0 で Sinker 振り分け時にリクエストをコピーできない問題を修正(#66)

1.12.0(2025/12/19)

新機能

  • Sinker キャッシュ機構を最適化(#34)

    • 新しい Sinker キャッシュ機構では、リクエストの完全な特徴をキャッシュするのではなく、リクエストのハッシュ特徴(16 byte)でキャッシュします。2 系統のハッシュによりハッシュ衝突を可能な限り回避し、理論上の衝突確率は n/2^128(n はキャッシュされる key の数)です
    • Sinker キャッシュに TTL 機構と capacity 機構を追加し、メモリ使用量をさらに制限します。TTL 機構はアクティブでないキャッシュを削除し、capacity 機構はキャッシュ内の key の数が指定された制限を超えないようにします。TTL と capacity の制限により、上記のハッシュ衝突確率もさらに低下します
  • DataWay HTTP header の返却を最適化する設定を追加し、DataWay のパブリックネットワークトラフィックを削減(#65)


1.11.2(2025/11/25)

  • DataWay が Kodo に転送する HTTP リクエストを最適化(#64)

1.11.1(2025/11/15)

  • __internal__ token が無効になる問題を修正(#63)

1.11.0(2025/11/12)

新機能

  • DataWay のベースイメージを Ubuntu 22.04 にアップグレード(#62)
  • DataWay が無効なトラフィックをブロックできるようになりました(#61)

不具合修正

  • セッションリプレイおよびプロファイリングの振り分けで、異なるワークスペースにデータをコピーできない問題を修正(#59)

1.10.0(2025/09/03)

新機能

  • Langfuse のデータ取り込み機能を追加(#57)

1.9.0(2025/04/25)

新機能

  • DataWay はデータアップロード系リクエストに X-Pkg-Id を追加し、データ追跡を可能にしました(#53)
  • プログラムログを改善し、より多くの Kodo が返すエラーコードを DataKit にパススルーするようにしました(#52)
  • API が環境変数を自ら取得する機能を追加(#55)
  • 一部の状況で発生する invalid argument エラーの原因を特定するため、ディスクキャッシュコードを更新(#56)

1.8.0(2025/02/19)

新機能

  • DataWay の Sinker モード有効時、クライアント(DataKit/Function など)から送信されるデータレポートリクエストを同時に処理できるようにしました(#50)

1.7.0(2024/12/18)

新機能

  • AWS Firehose の取り込みエンドポイントを追加(#47)
  • X-Token による token の受け渡しをサポート(#43)

機能改善

  • 内部 GC のデフォルトパラメーターを調整し、メモリ使用量を最適化(#49)
  • Kubernetes デプロイのデフォルト yaml を最適化し、cache のディスクマウント設定を調整(#48)
  • 一部の内部メトリクスを調整・追加し、DataWay のデフォルトビューを更新

1.6.2(2024/12/03)

機能改善

  • HTTP レベルの接続設定エントリを追加(#46)

1.6.1(2024/11/19)

機能改善

  • 404 ページを無効化するオプションを追加(#44)

1.6.0(2024/09/19)

機能改善

  • ディスクキャッシュ関連の環境変数設定を最適化
  • 自身メトリクスの公開を増やし、HTTP 転送レイヤーでのメモリ使用量を最適化(#39)
  • DataWay が自身の SNI を設定できるようになりました(#42)
  • 時刻同期インターフェースを追加し、DataKit がより正確な Unix タイムスタンプを取得できるようにしました(#40)
  • Sinker:
    • フィルター条件で nil 判定をサポート。つまり、特定のフィールドが存在するかどうかを判定します(#41)
    • デフォルトルール設定を追加。既存の振り分けルールに一致しないリクエストは、すべてこのデフォルトルールに対応するワークスペースに誘導されます(#30)

1.5.0(2024/07/05)

機能改善

  • インストールスクリプトを最適化(#33)

互換性の調整

  • 新バージョンでは、ホストインストールモードで Sinker 設定を直接サポートする機能を削除しました。この機能は今後、新しい方法でサポートされる予定です。

1.4.1(2024/06/19)

  • Kubernetes インストールモードで DW_ENABLE_TLS が欠落する問題を修正
  • ビルドイメージのアドレスを変更

1.4.0(2024/05/15)

  • DataKit 計量インターフェースを追加(#29)
  • cache でデータが失われる可能性がある問題を修正(#31)
  • DataWay 側で HTTP TLS 証明書を直接設定できるようにしました(#32)
  • 公開するメトリクスを追加

1.3.9(2024/03/28)

  • Sink がリクエストを破棄する際に HTTP 406 Not Acceptable エラーを返すようにし、問題の調査を容易にしました(#82)

1.3.8(2024/01/24)

  • 公開するメトリクスを追加
  • Sinker ルールマッチングのパフォーマンスを大幅に向上(#26)

1.3.7(2023/12/14)

  • 公開するメトリクスを追加
  • ディスクキャッシュのクリーンアップ戦略を最適化し、収集したデータをできるだけ早く消費する原則を採用:
    • ストレージ上限超過によるデータの能動的な破棄を回避
    • 同時に、キャッシュされたデータをできるだけ早く送信
  • 巨大リクエスト破棄に関するオブザーバビリティを追加(メトリクス/ログ)
  • DataWay 自身の POD yaml を調整し、そのメトリクスとログ収集を改善

1.3.6(2023/10/24)


1.3.5(2023/09/13)

  • Kubernetes では環境変数を注入して DataWay をインストールできるようになりました
  • dataway.yaml を新たにリリースしました

1.3.4(2023/09/01)

  • Golang を 1.9 にアップグレード
  • inner token でデータが取得できない問題を修正
  • デフォルト設定で以下の設定を調整:
    • デフォルトの API レート制限を 100K に増加
    • デフォルト最大 Body を 64MB に増加
    • HTTP タイムアウト設定(DataWay からセンターまで)を追加、デフォルト 30s
    • TLS 509 エラーを無視する設定を追加

1.3.3(2023/09/01)

  • イメージビルド時の curl 問題を修正

1.3.2(2023/08/30)

  • イメージに curl コマンドを追加し、自身のメトリクスを確認しやすくしました

1.3.1(2023/08/28)

  • URL の Sinker 機能を追加

1.3.0(2023/08/24)

  • DataWay の実装全体を再構築し、Sinker 機能を追加

1.2.12(2023/08/28)

  • CI リリースフローを再構築し、install スクリプトの二重リリースを実現

1.2.8(2022/09/18)

  • /v1/wirte インターフェースの更新:

    • 冗長な /v1/write/xxx API を削除し、/v1/write/:category インターフェースを追加
    • 書き込みデータはラインプロトコルのデコードを行わなくなりましたが、署名のために引き続き Body を読み取ります
  • ディスクキャッシュ:

    • キャッシュのクリーンアップ中にセンターへの送信が失敗した場合、現在のキャッシュリクエストの送信が成功するまで次のキャッシュをクリーンアップしない、消費一時停止ポリシーを追加
    • pbcache proto ファイルを更新

フィードバック

このページは役に立ちましたか?