跳转至

更新日志(2021 年)


本文档记录观测云每次上线发布的更新内容说明,包括 DataKit、观测云最佳实践、观测云集成文档和观测云。

2021 年 12 月 30 号

优化绑定内置视图

“观测云” 支持通过将内置视图与不同的链路服务、应用、日志源、项目等字段进行关联绑定,根据绑定字段可在对应的查看器详情页查看绑定的内置视图(系统视图、用户视图),支持的查看器包括场景自定义查看器、基础设施、日志、链路、用户访问、安全巡检、可用性等查看器。

优化日志查看器

  • 在日志查看器,左侧来源列表首次登录默认展开,可手动收起,查看器会默认记住最后一次的状态;
  • 在日志查看器,点击左侧设置按钮,可手动添加筛选字段进行快捷筛选;
  • 在日志数据列表,您可以使用“鼠标悬停”至日志内容,展开查看日志的全部内容,点击“复制”按钮可把整条日志内容复制到粘贴板。展开时若可以系统会将该条日志JSON格式化,若不可以则正常展示该日志内容。

优化查看器详情页关联显示

在日志、基础设施、链路、安全巡检查看器详情页优化关联显示,包括主机、指标、链路、容器、日志、Pod等关联查询显示,支持两种关联显示:固定显示和非固定显示(需要根据是否包含关联字段来显示关联查询)。

以日志查看器详情页关联主机为例,关联字段分别为“host”,在日志详情中查看相关主机,需要匹配字段“host”,否则无法在日志详情查看到相关主机的页面。字段匹配后,在关联主机下可以查看主机的基本信息和指标性能状态。

  • 属性视图:包括主机的基本信息、集成运行情况,若开启云主机的采集,还可查看云厂商的信息。

  • 指标视图:可查看默认15分种内,相关主机的CPU、内存等性能指标视图。点击「打开该视图」至内置视图,可通过克隆的方式对主机视图进行自定义修改,并作为用户视图保存,用户视图可通过绑定在日志详情页查看。

优化快照分享

快照分享支持隐藏分享页面的顶部栏,在快照列表,点击分享按钮,即可在弹出对话框中进行高级设置“隐藏顶部栏”。

优化图表查询结果显示千分位

观测云仪表板图表查询结果支持自动加上数据千分位格式显示,若设置了单位,则按照设置的单位显示数据格式,设置完成后可以在预览情况下查看。

其他优化功能

  • 优化主机网络拓扑图查询性能,新增目标域名在网络拓扑图节点显示。即若目标主机不在当前工作空间但是目标域名存在且目标域名的端口小于 10000 ,则目标域名会在拓扑图中显示。
  • 优化场景仪表板、笔记查看器收藏置顶逻辑:
  • 未收藏的仪表板,按创建时间倒序排序
  • 收藏的仪表板,按收藏时间倒序排序
  • 收藏的仪表板显示在未收藏的仪表板上方
  • 优化视图变量级联查询逻辑,即两个变量联动查询时,前一个选择*,联动的变量不做筛选,展示所有的 value 值。
  • 优化左侧收起的导航栏,增加导航栏的帮助文档链接。

2021 年 12 月 16 号

新增时序图相似性指标查询

在时序图的分析模式下,支持选中“图表查询”为指标查询的趋势线/柱,可“查看相似趋势指标”。通过框选的绝对时间范围,可查询空间内相似的指标趋势。

新增查看器详情页关联数据统计显示

新增查看器详情页的相关日志、链路、容器等列表数据量统计,支持在查看器详情页面的Tab标题中直接获取相关数据的统计量显示,包括基础设施、日志、应用性能、用户访问、安全巡检等查看器。

新增查看器图表导出功能

观测云支持将“观测云”空间查看器中的任意图表导出到仪表板、笔记或粘贴板。

新增查看器搜索match匹配

观测云支持在查看器的搜索栏通过字段筛选如“host:cc*”格式进行wildcard搜索,可用于如命名开头一致的主机日志数据筛选。同时在查看器搜索栏右侧增加“删除号”,支持文本输入一键删除。

优化日志查看器和日志类关联数据查询

  • “观测云” 通过日志详情页下方的「容器」可以查看最近十分钟内与该日志相关主机的全部容器(Container)数据。
  • 日志详情页相关的链路和容器数据支持以“trace_id“或“host”筛选
  • 日志详情页的内容展示支持Json 和 文本两种查看模式,依据 message 类型自动显示格式
  • 通过近似文本查看器,可查看Pattern聚类后关联日志的详情
  • 日志查看器的鼠标悬浮hover提示去掉颜色

优化沉默策略,支持针对监控器规则设置沉默

观测云支持用户在「监控」功能中,通过“静默管理”是对当前空间的全部静默规则进行管理。“观测云”提供了三种静默类型,包括主机静默、监控器静默、分组静默,支持对不同的主机、监控器、分组进行静默管理,使静默对象在静默时间内不向任一告警通知对象发送告警通知。

优化监控器管理

监控器列表出现重复的监控器会影响用户快速定位监控对象,“观测云”支持选择是否从模板新建重复的监控器。同时,用户可通过新增的”批量管理”工具,自定义导出/删除监控器。

优化视图变量的查询显示

  • 仪表板视图变量新增默认值,支持预览当前视图变量的全部变量,并选择在仪表板默认查看的初始变量
  • 支持通过鼠标悬浮(hover)拖动视图变量以调节先后顺序
  • 去除视图变量的「设置」按钮,可直接在视图变量列表中使用“排序”、“隐藏”和“删除”功能

优化仪表板、笔记图表锁定时间设置

观测云支持在仪表板、笔记图表锁定时间设置增加“更多”选择来自定义锁定时间范围,此次优化后锁定时间组件和图表组件功能保持一致。

优化帮助中心页面入口

在观测云帮助中心,可快速查看产品文档、产品更新、博客、直播回顾等多种信息,在可通过扫码的方式加入我们观测云的官方服务群。

2021 年 12 月 2 号

新增拥有者成员角色

观测云新增当前工作空间的拥有者角色,目前支持定义四种工作空间成员权限,包括“拥有者”、“管理员”、“标准成员”和“只读成员”,分别对不同成员类别的管理权限、配置权限、操作权限、浏览权限进行了约束。“拥有者”角色拥有最高操作权限,可以指定当前空间“管理员”并进行任意的管理、配置、操作和数据浏览。在观测云工作空间的「管理」-「成员管理」-「修改」,即可编辑更新成员的权限。

场景新增自定义查看器

“观测云”在场景提供了可快速搭建的基于日志数据范围的查看器,支持空间成员共同搭建基于自定义场景的查看器,定制化查看需求。制作完成的“查看器”可导出分享给他人,共享查看器模板。

新增导出用户视图到仪表板

“观测云”支持在「内置视图」中,导出已创建的用户视图为一份json文件,json文件可用于不同工作空间的场景或内置视图导入。

优化主机网络可观测,新增网络流数据查看列表

“观测云”支持在基础设施「主机」详情页的「网络」,根据选择不同的协议展示不同的可视化图表,并自定义网络流数据列表显示字段。

通过点击「查看网络流数据」,支持默认查看最近2天的网络流数据,包括时间、源IP/端口、目标IP/端口、源主机、传输方向、协议、发送字节数等。支持自定义显示字段,或添加筛选条件,筛选所有字符串类型的keyword字段。

新增sourcemap功能

应用在生产环境中发布的时候,为了防止代码泄露等安全问题,一般打包过程中会针对文件做转换、压缩等操作。以上举措在保障代码安全的同时也致使收集到的错误堆栈信息是经过混淆后的,无法直接定位问题,为后续 Bug 排查带来了不便。

为了解决以上的问题,"观测云" 为 Web 应用程序提供 sourcemap 功能,支持还原混淆后的代码,方便错误排查时定位源码,帮助用户更快解决问题。

新增主机关联安全巡检数据分析

“观测云”支持查看最近一天内与该主机相关的安全巡检数据,并对这些安全巡检数据进行关键字搜索、多标签筛选和数据排序。

新增DataKit采集器kubernetes安装引导

“观测云”支持在工作空间「集成」-「DataKit」中新增在 Kubernetes 集群安装 DataKit 采集器引导说明。

优化用户访问监测关联链路查询

“观测云”支持在链路详情页和用户访问页面性能详情页(用户访问监测view查看器),将属性添加到当前筛选或复制(复制该标签至本地粘贴板)。

优化注册升级流程

观测云新增注册账号时直接选择开通观测云计费平台,并对登录到工作空间后,升级到敏捷版的流程进行优化,

计费降价调整

观测云采用最新的技术,优化数据存储成本,故对计费进行降价调整,新增基于数据存储策略的梯度计费模式,包括日志类数据、应用性能 Trace、用户访问 PV 这三个计费项。

另外为了助力企业以更优惠的价格,更全面的观测IT基础设施、应用系统等企业资产,观测云根据企业的不同发展阶段推出三种套餐包:初创加速包、创业发展包以及企业标准包,以及可叠加流量包供企业按照自身需求和套餐叠加使用。

其他优化功能

  • 监控器用户访问指标检测新增 LCP、FID、CLS、FCP 相关检测指标。在观测云工作空间「监控」-监控器,点击「+新建监控器」,选择「用户访问指标检测」,即可进入检测规则的配置页面。
  • 监控器简单查询中的分组更改为检测维度,检测维度决定着检测规则基于哪个维度触发,即触发对象。“观测云”支持添加多个检测维度,任意一个检测维度的指标满足告警条件则触发告警。
  • 优化导航菜单显示,“观测云”工作台的导航栏呈收起状态时,二级菜单顶格显示该功能的导航名称。

2021 年 11 月 18 号

新增SSO登录

观测云支持用户基于工作空间创建身份提供商,用户在登录时通过输入公司邮箱,获取对应SSO登录链接,点击SSO登录链接实现对应验证登录。在观测云工作空间「管理」-「SSO管理」-「新建身份提供商」,即可为员工设置SSO单点登录。

新增仪表板和笔记SLO图表

在场景仪表板和笔记新增SLO图表,SLO图表可直接选择设置的监控SLO进行SLO数据展示,通过选择不同的SLO名称,同步展示SLO数据结果。

新增基础设施分组自定义添加分组字段

在观测云基础设施查看器,点击分组右侧的设置按钮,可自定义添加分组标签,添加完成后,可选择按照添加分组标签进行分组聚合展示。
注意:自定义分组标签仅管理员可添加。

新增SLO通知沉默配置

若同一个事件不是非常紧急,但是告警通知频率高,可以通过设置通知沉默的方式减少通知频率。通知沉默设置后事件会继续产生,但是通知不会再发送,产生的事件会存入事件管理。

优化图表链接

观测云支持添加内置链接和自定义链接到图表,通过链接可从当前图表跳转至目标页面,并通过模板变量修改链接中对应的变量值将数据信息传送过去,完成数据联动。图表链接支持从新页面、当前页面、侧滑详情页打开,实现联动分析。

计费降价调整

  • 每天DataKit 单价下调为每台 3 元
  • 可用性 API 拨测调整为 每 1 万次 1元

其他优化功能

  • 上线中国区1(阿里云)免费新版本:体验版分成阿里云登录和AWS登录,阿里云登录时间线的数据保存策略为30天,其他的数据保存策略为7天,AWS登录所有的数据保存策略为1天;
  • 优化SLO扣分逻辑:监控器为禁用状态,不会计入扣分范围;
  • 新增仪表板标签功能:在创建/修改仪表板视图时,可以为仪表板添加自定义标签,帮助快速筛选;
  • 优化日志高亮显示:在搜索栏对日志进行搜索时,返回的列表仅保留匹配到的关键词的高亮显示;
  • 优化查看器搜索:在查看器搜索下拉框增加帮助文档链接;
  • 优化文本图表Markdown格式:增加支持无序列表和有序列表,优化显示格式。

2021 年 11 月 4 号

新增场景笔记

在场景下,可以创建多个笔记来进行总结报告,支持插入实时可视化图表进行数据分析,支持插入文本文档进行说明,结合图表和文档进行数据分析和总结报告;支持基础设施、日志、应用性能、用户访问等查看器数据导出到笔记进行数据分析;支持与工作空间所有成员共享笔记,留存异常数据分析,帮助回溯、定位、解决问题。

场景视图升级为仪表板

观测云的场景视图升级为仪表板,并对仪表板的功能和布局做了调整。在场景下,可以创建多个仪表板来构建数据洞察场景,支持通过关键字搜索仪表板,支持为仪表板添加可视化图表进行数据分析,支持从“我的收藏”、“导入项目”、“我的创建”和“经常浏览”来快速过滤查找对应的仪表板。

查看器新增导出到仪表板和笔记

基础设施、日志监测、应用性能监测、可用性监测、安全巡检等查看器新增导出到仪表板和笔记。

异常检测库升级为监控

原「异常检测库」升级为「监控」,原有「异常检测库」、「检测规则」等名称发生变更,具体变更如下:

  • 监控器(原指“异常检测规则”)提供「阈值检测」、「日志检测」等多种监测方式,允许用户自定义配置检测规则和触发条件,并通过告警第一时间接收告警通知。
  • 模板(原指“内置检测库”),“观测云”内置多种开箱即用的可用性监控模板,支持一键创建Docker、Elasticsearch、Host、Redis监控。成功新建模板后,即自动添加对应的官方监控器至当前工作空间。
  • 分组(原指“自定义监测库”),分组功能支持您自定义创建有意义的监测器组合,方便分组管理各项监控器。

新增监控SLO功能,支持导出到仪表板

「监控」新增SLO监控,支持在云时代背景下,对系统服务提供者(Provider)的服务质量评分,对比检测对应的SLI(Service Level Indicator)是否满足目标需要。同时,“观测云”还支持导出SLO为视图至仪表板,以便利在仪表板同步进行SLO监控。

其他优化功能

  • 图表优化:
    • 概览图去掉分组的选择;
    • 时序图、饼图、柱状图图表选择样式调整;
    • 时间分片新增提示信息;
    • 图表json支持编辑,和查询/设置联动,支持对输入的Json进行校验,若有错误则显示错误提示;
    • 时序图分析模式下的样式优化;
  • 付费计划与账单新增提示,结算方式选择aliyun或者aws,账单列表直接显示跳转到对应云服务控制台查看账单信息。

2021 年 10 月 21 号

新增主机网络分布图

新增主机网络分布图,提供基础设施网络可观测。在「基础设施」-「主机」,点击左上角的小图标,即可切换到查看主机网络分布情况。在「网络分布图」,您能够可视化查询当前工作空间主机与主机之间的网络流量,快速分析不同主机之间的 TCP延迟、TCP波动、TCP重传次数、TCP连接次数以及 TCP关闭次数。

新增用户访问监测追踪功能

新增用户访问监测「追踪」功能。支持用户通过「用户访问监测」新建追踪任务,对自定义的链路追踪轨迹进行实时监控。通过预先设定链路追踪轨迹,可以集中筛选链路数据,精准查询用户访问体验,及时发现漏洞、异常和风险。

新增场景图表 Json 格式查询

在「场景」编辑图表时,每一个正确的图表查询都对应一个json文本,支持工作台内的 json文本和图表查询可互相解析,帮助您洞察图表绘制详情。

优化 DCA 桌面客户端应用

优化 DCA 桌面客户端 UI 展示,增加主机状态。

  • online:说明数据上报正常,可通过 DCA 查看 DataKit 的运行情况和配置采集器;
  • unknown:说明远程管理配置未开启,或者不在一个局域网内;
  • offline:说明主机已经超过 10 分钟未上报数据,或者主机名称被修改后,原主机名称会显示成 offline 的状态。未正常上报数据的主机,若超过 24 小时仍未有数据上报,该主机记录将会从列表中移除。

优化事件主机联动查询及检测规则查询

优化事件模块,支持对事件的关联主机进行联动查询,可实时监控与该事件相关的主机在选定时间组件范围内的日志、容器、进程,链路,巡检事件;支持一键查看事件关联的检测规则,并查询对应检测规则下的其他被触发事件。

调整计费方式

  • 按节点登录方式,选择计费结算方式,包括CloudCare账号、Aliyun、AWS。其中CloudCare账号结算为通用方式,阿里云登录节点对应可选择Aliyun账号结算方式(上线中),AWS登录节点对应可选择AWS账号结算方式(已上线)。
  • 去除Session数量和Browser拨测数量计费维度,在「付费计划与账单」去除Session数量和Browser拨测数量统计及视图,新增安全巡检数量统计图。

其他优化功能

  • 优化场景添加图表功能,去掉「编辑」模式下「添加图表」按钮,所有可添加的图表类型在场景顶部可选;
  • 优化场景图表分组功能,支持仅删除分组,并保留原有图表进入默认分组下;
  • 新增中国地图/世界地图的「地区排名」开关,默认关闭地区排名;
  • 优化查看器查询方式,合并搜索与筛选栏,支持基于标签、字段、文本进行关键词搜索、标签字段筛选、关联搜索。

2021 年 9 月 28 号

新增主机网络性能监测

主机网络性能监测支持查看主机服务、容器和任意带标签的基础设施等之间的网络流量。支持基于 IP/端口查看源主机到目标之间的网络流量和数据连接情况,通过可视化的方式进行实时展示,帮助企业实时了解业务系统的网络运行状态,快速分析、追踪和定位问题故障,预防或避免因网络性能下降或中断而导致的业务问题。

主机网络数据采集成功后会上报到观测云控制台,在「基础设施」-「主机」详情页中的「网络」,您可以查看到工作空间内全部网络性能监测数据信息。

新增图表联动查询

在场景视图,支持通过单击鼠标查看该图表的DQL查询语句、关联的链接等,或关联查询不同分组查询标签下的相关日志、容器、进程、链路等。当图表查询存在主机(host) 信息时,支持查看相关的主机监控视图。如点击图中任意图表,即可查看图表的DQL查询语句、设置的链接以及关联查询相关日志、容器、进程、链路、主机监控视图等。

新增图表矩形树图

矩形树图用于展示不同分组下指标数据的占比分布可视化。矩形树图颜色表示分组的标签(Tag),面积表示指标数据。当添加了多个指标查询时,可选择主要展示的指标,面积大小根据选择的指标数据结果、Top/Bottom 以及数量进行展示。如本图中通过可视化的方式展示主机的CPU使用率排名。

新增应用性能和用户访问监测关联查询

在应用性能监测链路详情内,支持通过页面上方的「相关view」查看关联(相同trace_id)的真实用户访问体验数据。此功能不仅能够帮助您查看主动式监测的应用性能数据,还能够帮助您快速透视真实用户的访问情况。更多应用性能监测可参考文档 链路分析

新增基础设施查询绝对时间范围

基础设施新增「主机」、「容器」、「进程」查询范围绝对时间,默认展示最近24小时的主机数据、最近十分钟内的容器数据、最近十分钟的进程数据,可通过手动方式刷新查询范围。鼠标悬停在离线的主机,可查看主机离线处理提示。

优化图表同期对比功能

优化图表同期对比功能,支持对时序图、概览图等的同期数据进行比较,可选择同比(相邻时间段中某一相同时间点的比较)或环比(相邻时间段的对比)。根据图表锁定时间,可选择环比、日环比、周环比、月环比、周同比、月同比等选项。

优化图表查询 SLIMIT


默认为分组查询的图表添加SLIMIT,用于限制时序图图表查询返回的points或series的数目。一个图表限制返回10000个点,一个查询最多返回 10 条时间线。

云拨测调整为可用性监测

云拨测分成 API 拨测和 Browser 拨测,调整为可用性拨测以后,保留 API 拨测。其他功能如概览分析、查看器分析、自建节点功能保持不变。更多详情可参考文档 可用性监测

计费降价调整

  • 日志价格从每100万条1元调整为每100万条0.5元
  • 用户访问监测价格去除 Session 计费维度,调整为每1000个 PV 0.3元

更多价格和数据过期策略详情请参考文档 按量付费

2021 年 9 月 9 号

DataFlux 更名为“观测云”

云计算时代,可观测性被越来越多的企业所采纳和重视,DataFlux作为驻云科技推出的云时代的可观测性平台,为了让企业和用户更容易理解,本次发布将正式更名为“观测云”,网址为“www.guance.com”。

同时我们为“观测云”设计了新的 Logo ,以字母C和G为基础组成类似雷达波的图形,体现探测、观测特性,充分贴合可观测性的特征,也体现了“观测云”为企业和用户构建基于数据的核心保障体系。

新增日志近似文本查看器

“观测云”支持对原始日志数据的message字段进行相似度计算分析,根据右上方选择的时间范围固定当前时间段,并获取该时间段内 10000 条日志数据做近似分析,将近似度高的日志进行聚合,提取并统计共同的 Pattern 聚类,帮助快速发现异常日志和定位问题。

Pattern 聚类详情

点击 Pattern 聚类列表,即可划出当前所有的 Pattern 聚类列表,返回数据列表按照时间倒序排列,支持显示最近50条日志数据,可选择 1行、3行、10行的方式显示。

新增容器Jobs和Cron Jobs查看器

“观测云”新增容器「Jobs」、「Cron Jobs」查看器, 在「基础设施」-「容器」的左侧对象列表选择对应的查看器,支持查看 Kubernetes 中 Job 和 Cron Job 的运行状态和服务能力相关指标,进而实现对 Kubernetes 集群以及其中部署的各类资源的实时监测。详情可参考文档 容器

新增 DCA 桌面客户端应用

DCA,DataKit Control APP,是一款桌面客户端应用,旨在方便管理已经安装和配置的采集器,支持查看集成列表、配置文件管理、Pipeline管理、集成配置文档在线查看等功能。您可以通过 DCA 远程连接 DataKit ,在线变更采集器,变更完成后保存更新即可生效。

在“观测云”工作空间,依次点击「集成」-「DCA」,即可下载安装包。下载完成后,可安装在您的电脑远程管理 DataKit 。

新增移动端 APP

DataFlux Mobile 可以帮助您在移动设备上随时随地查看来自观测云的日志数据、场景视图等,接收通过邮件、钉钉机器人、企业微信机器人、Webhook等通知到您的全部告警事件。

在观测云的工作空间内,您可以通过「集成」-「移动端」进行 DataFlux Mobile APP的下载。

新增指标的标签筛选功能,优化指标的三种查看模式

DataKit 采集器会默认给采集到的所有数据追加标签 host=<DataKit所在主机名>

标签是标识一个数据点采集对象的属性的集合,标签分为标签名和标签值,在「指标」页面可选择需要查看的标签值对应的指标视图。如下图所示:在标签栏筛选主机,并查看其 usage_systemusage_totalusage_userusage_iowait等指标视图。

在「指标」页面左侧可选择切换指标查看模式,支持三种查看模式:平铺模式、混合模式、列表模式,默认选中平铺模式。

优化异常检测

新增window(窗口)函数在异常检测规则查询和图表查询的使用,即支持以选定的时间间隔为窗口(记录集合),以检测频率为偏移,重新对每条记录执行统计计算。

•  在进行图表查询时,支持添加窗口函数,即以选定的时间间隔为窗口(支持选择1分钟、5分钟、15分钟、30分钟、1小时、3小时),结合聚合函数对每条记录都执行统计计算。
•  在配置异常检测规则配置时,新增window函数为查询结果的绘图展示区域,返回用于触发告警的实时异常检测指标数据。

新增percent()函数在异常规则查询和图表查询的聚合函数中使用。支持在聚合函数中添加percent()函数,包括 p50(取中位数值)、p75(取处于75%位置的值)、p90(取处于90%位置的值)、p99(取处于99%位置的值)。

新增lable筛选在异常规则查询和图表查询中使用,支持选择主机 label 属性进行筛选显示。在查询中选择 label 之前,您需在「基础设施」-「主机」中为主机设置 label 属性。

优化未恢复事件显示样式

在未恢复事件列表中,您可以预览事件最近 6 小时的window函数:
•  虚线边框的展示效果为异常事件影响的时间段
•  检测库规则类型为阈值、日志、应用性能指标、用户访问指标检测、安全巡检、异常进程、云拨测检测时,根据不同告警等级对应的色块可查看相关异常检测指标数据,包括紧急、错误、警告。
•  检测库规则类型为突变、区间、水位时,根据图表“竖线”可快速识别出当前事件触发的时间点。

在事件的详情页面支持查看异常事件的状态分布、DQL函数和窗口函数折线图。
•  状态分布:展示选定时间范围内(默认展示最近6小时)的事件状态 (紧急、重要、警告、数据断档)
•  DQL查询语句:基于异常检测规则的自定义查询语句返回的实时指标数据,默认展示最近6小时的实时指标数据
•  window 函数:基于异常检测规则,以选定的时间范围为窗口(记录集合),以检测频率为偏移,重新对每条记录执行统计计算,返回用于触发告警的实时异常检测指标数据。默认展示最近6小时的实时异常检测指标数据

优化场景视图分析

在预览模式下,通过双击图表,即可放大图表进入分析模式查看。在编辑模式下,双击图表可进入编辑模式。对图表进行增删改查。

优化基础设施绑定内置视图

选择内置视图时,会过滤重名视图,当系统视图和用户视图重名时,优先展示用户视图,即只能选择用户视图,若需要选择系统视图,则需更改或者删除重名的用户视图。

优化计费方式,新增云拨测计费,调整数据过期策略

  • 新增 PV 数量统计:Session 数量和 PV 数量按照实际产生的费用低那个作为最终费用
  • 新增云拨测任务次数费用统计:开放云拨测自建节点管理,支持任何空间管理员在全球范围内自建新的拨测节点;云拨测的计费维度将根据当前工作空间的云拨测任务调用次数收费;体验版工作空间最多可创建 5 个拨测任务,且仅支持“中国区”拨测节点的使用;敏捷版及以上版本工作空间支持创建更多拨测任务,并且使用更多的国外拨测节点。

2021 年 8 月 26 号

DataFlux Studio

新增图表查询label筛选

DataFlux 支持选择主机 label 属性进行筛选显示,在图表查询中选择 label 之前,需在「基础设施」-「主机」中为主机设置 label 属性。如下图中,包含“production” label 属性有两台主机,故显示两台主机的数据。

新增基础设施容器 Cluster、Replicate Set、Node查看器

DataFlux 新增容器 Cluster、Replicate Set、Node查看器, 支持查看 Kubernetes 中 Cluster、Replicate Set、Node 的运行状态和服务能力相关指标,进而实现对Kubernetes集群以及其中部署的各类资源的实时监测。

新增用户访问监测 View 查看器快捷筛选

DataFlux 支持在 View 查看器,点击左侧快速筛选的设置按钮,即可自定义添加筛选字段。选择需要添加的字段后,点击“完成”即可。

注意:若添加筛选的字段是代表时间的字段,支持通过选择时间区间筛选查看对应的页面内容。如 loading_time(页面加载时间)。

新增导航菜单帮助入口,新增多个查看器数据采集引导入口

DataFlux 在导航菜单新增帮助文档入口,同时当查看器未上传数据时,DataFlux 为您提供了快捷访问 “如何开始数据采集”的入口,以帮助您在不同查看器下及时开启数据实时监测之路。包括如何开启日志监测、如何开启云拨测、如何采集主机对象等。

优化日志查看器

DataFlux 优化日志查看器,采用不同的颜色高亮日志的不同内容,让您能更快的的获取日志的重点数据信息,支持浅色和深色两种主题颜色。

日志内容 浅色主题 深色主题
日期(日志发生的时间) 黄色 浅黄色
关键字(HTTP协议相关,如GET) 绿色 浅绿色
文本(带引号的字符串) 蓝色 浅蓝色
默认(无任何标示的文本) 黑色 灰色
数字(日志状态码等,如404) 紫色 浅紫色

优化安全巡检概览统计

DataFlux 支持自定义安全巡检概览页面的视图,通过点击「跳转」按钮,可跳转至概览页面对应的内置视图进行查看,并对该视图进行编辑、复制和导出。

优化工作空间切换

DataFlux支持通过点击 「当前空间」名称即可切换至其他工作空间或新建工作空间。

优化系统主题颜色切换

DataFlux 新增系统主题颜色“自动”选项,可根据电脑外观设置自动切换主题颜色。

其他优化功能

  • 优化应用性能监测「服务」详情,在服务详情页,点击服务的资源名称可直接跳转到「链路」查看对应的资源的链路情况;
  • 优化用户访问监测 View 查看器「性能」详情,点击性能详情中的错误数据(在 View 列表中含“错误”标志的数据),可查看错误对应的详情;
  • 优化指标查看器标签名和标签值显示;
  • 优化时序图 X 轴时间显示,默认时间范围最近15分钟,X 轴分段按照分钟间隔;最近1天,X 轴分段按照小时间隔;最近7天,X 轴分段按照天间隔;
  • 优化表达式查询,图表查询时,若表达式查询包含多个查询语句,分组标签需保持一致;
  • 优化主机集成运行情况,在「基础设施」-「主机」-「集成运行情况」新增主机安装的 DataKit 版本信息;
  • 优化快照分享,支持分享快照给拥有分享链接的“任何人”,或者加密分享给拥有链接和密钥的人。

2021 年 8 月 12 号

DataFlux Studio

新增 3 种权限角色,优化场景查看权限

DataFlux 目前支持定义三种工作空间成员权限,包括“管理员”、“标准成员”和“只读成员”,分别对不同成员类别的管理权限、操作权限、浏览权限进行了约束。“管理员”能够自定义成员的权限范围,如:限定只读成员可访问的场景视图、限定标准成员可编辑的场景视图等。

在 DataFlux 工作空间的「管理」-「成员管理」-「修改」,即可编辑更新成员的权限。

新增基础设施主机详情查看连接追踪和文件及布局优化

DataFlux 支持在基础设施主机详情页查看主机系统信息,包括主机名称、操作系统、处理器、内存,网络,硬盘以及连接追踪数、文件句柄数等数据。

新增场景视图快照保存功能

在 DataFlux 工作空间,进入「场景」-「节点」,点击顶部导航栏的「设置」按钮,选择「保存快照」即可保存当前视图所展示的数据内容为快照。

另外,DataFlux 支持通过页面功能按钮和快捷键(Ctrl+K )快速保存快照。在场景视图和全部查看器内,使用快捷键 Ctrl+K ,即可快速弹出【保存快照】弹窗,输入名称,点击【确定】即可添加当前页面为新的快照。

注意:当您的后台程序存在与快捷键 Ctrl+K 冲突的其他快捷键时,您将无法使用「保存快照」的快捷键功能。

新增图表和快照分享管理

DataFlux 支持对当前空间内分享的图表和快照进行统一管理。如在「场景视图中」完成图表分享后,通过「管理」-「分享管理」-「图表分享」可以查看当前空间内的图表分享列表,并进行图表查看,查看嵌入代码和取消分享。

新增用户邮箱更换、手机更换解绑功能

在 DataFlux 工作空间,点击左下角「账号」-「设置」-「基础设置」,即可更换、解绑手机和邮箱。

新增自定义用户访问监测 SDK 采集数据内容

DataFlux 支持自定义用户访问监测 SDK 采集数据内容,通过自定义设置用户标识、自定义设置会话以及自定义添加额外的数据 TAG ,帮助用户在特定场景下,通过设置不同类型的标识来定位分析数据。

新增付费版 Session 、任务调度、Trace 免费额度

DataFlux 付费版本新增每台 DataKit 每天赠送 100 万条日志类数据、100 个 Session 数量、1 万次任务调度次数以及 100万个Trace数量。

优化场景图表分析模式

DataFlux 支持在时序图的分析模式下,通过图表下方的时间轴,预览对象数据在四倍查询周期内的交互变化,并且通过拖动时间轴选择时序图展示的时间范围。如:当前时间点为14:00,时间范围选择【10:00-11:00】,那么时间轴范围【08:00-12:00】。

注意:时序图一条查询语句最多返回 10 条时间线,即根据分组(group by)条件的结果,超过 10 条时间线的数据按照顺序只显示 10 条时间线。

优化基础设施主机、容器蜂窝图

悬停鼠标至主机、容器对象,可查看主机、容器名称、CPU 使用率和 MEM 使用率。

优化日志来源列表根据查看器时间范围显示

DataFlux 支持通过选择查看器时间范围筛选日志来源列表。如在 DataFlux 工作空间「日志查看器」右上角时间范围选择 15 分钟,左侧日志列表仅显示 15 分钟内有数据的日志来源。

优化系统主题颜色切换

DataFlux 支持切换系统主题颜色,分成浅色和深色两种,点击左下角账号,在「系统主题」点击需要的主题即可直接切换使用。

其他优化功能

  • Webhook自定义通知发送内容的类型从文本格式调整为json格式 。
  • 新增异常检测库告警设置的告警沉默 15 分钟选项,即在 15 分钟时间范围内,相同告警不发送通知。
  • 未恢复事件列表页显示样式调整,日志告警事件统计显示从表格图调整为时序图。

2021 年 8 月 4 号

DataFlux Studio

m

新增容器Services和Deployments查看器

DataFlux支持通过「Container」、「Pod」、「Services」、「Deployments」等查看器,从不同的维度全面展示容器的状态。

在工作空间「基础设施」-「容器」,通过左上角的数据类型筛选栏,可以切换至「Services」查看空间内留存的全部 Service 的详尽信息,包括Service 名称、服务类型、Cluster IP、External IP、运行时长等。

切换至「Deployments」可查看空间内留存的全部 Deployment 的详尽信息,包括Deployment 名称、可用副本、已升级副本、准备就绪、运行时长等。

2021 年 7 月 29 号

DataFlux Studio

新增基础设施全局 Label 功能

DataFlux 新增基础设施全局 Label 功能,支持用户针对主机、容器、进程等基础设施对象添加自定义标签,并通过添加的标签筛选展示相同标签的基础设施对象。

在基础设施对象列表中,点击对象名称,即可划出详情页为对象添加标签「Label 属性」。

自定义标签添加后,可在对象列表通过添加的标签筛选展示相同标签的对象列表。

新增短信通知对象;新增付费计划与账单短信费用统计

DataFlux支持用户管理发送告警的通知对象,目前支持添加钉钉机器人、企业微信机器人、飞书机器人、Webhook自定义、邮件组和短信组

注意:

  • 短信通知的成员需要先在「管理」 - 「成员管理」中邀请加入到工作空间后才可选择。
  • DataFlux 体验版无短信通知,其他版本短信通知100条/10元,按天计费。

新增场景视图幻灯片轮播模式

DataFlux 新增场景视图幻灯片放映,支持使用幻灯片模式浏览指定场景下的全部节点视图,并自定义幻灯片放映的时间间隔。

新增工作空间更换 Token 功能

DataFlux 支持当前空间管理员变更空间内的Token,并自定义当前Token的失效时间。进入「管理」-「基本设置」-「更换Token」,选择失效时间并确认「更换」后,DataFlux会自动生成新的Token,旧的Token会在指定时间内失效。

注意:

  • 更换Token后,原有Token会在指定时间内失效。如有任何代理使用该Token,都将立刻停止数据上报,请务必及时检查集成配置;
  • 更换Token会触发「操作事件」和「通知」。

新增指标DQL查询模式

DataFlux 支持在工作空间「指标」,切换「搜索」为「DQL 查询模式」后,直接输入 DQL 语句进行查询,查询可在左侧查看对应的标签和指标,在右侧查看查询语句返回的可视化图表。

优化日志查看器多行显示

DataFlux 支持在日志查看器的“设置”中选择日志显示“1行”、“3行”或“10行”来查看完整的日志内容。

优化应用性能监测服务和链路切换查看,优化响应时间折线图

DataFlux 支持「服务」和「链路」查看器互相切换时,默认保留当前的筛选条件(包括:环境、版本)和时间范围。 如:在应用性能监测「服务」选择「环境」为production_a ,「时间范围」为最近30分钟

切换至应用性能监测「链路」,筛选条件和「服务」保持一致。

优化DataKit采集器安装指南

DataFlux 支持在安装 DataKit 的时候自定义安装选项,如云厂商、命名空间、全局 tag 等;DataKit 离线安装支持直接点击下载不同操作系统的离线安装包。

优化火焰图同步、异步调用展示

DataFlux 应用性能监测的火焰图支持查看服务同步和异步调用链路性能的数据详情。如通过火焰图可以清晰查看哪几条请求是异步进行的,从什么时候开始、什么时候结束以及总共花了多少时间。

优化查看器显示列自定义字段别名

DataFlux 支持为查看器显示的字段自定义别名,如在基础设施主机对象,用户可以在“添加显示列”修改字段别名,修改以后可以在查看器以及详情中查看。

优化云拨测自建节点

DataFlux 云拨测自建节点地理位置拆分成两个筛选框:国家和省份(或城市)。如果国家筛选框选中的是China,则后一个筛选框会过滤出省份的列表;如果国家选中的为非China,则后一个筛选框过滤显示城市的列表。筛选框默认显示 20条,支持模糊搜索。

优化 DQL 查询函数

DataFlux DQL 新增exists、wildcard、with_labels等多种查询函数。

2021 年 7 月 15 号

DataFlux Studio

新增用户访问第三方开发工具接入

DataFlux 新增基于uniapp开发框架的小程序接入,通过引入 sdk 文件,监控小程序的性能指标、错误 log 以及资源请求情况数据,并上报到 DataFlux 平台。

新增数据断档异常检测

DataFlux 新增数据断档异常检测,基于配置自定义检测周期来触发产生事件,产生的数据断档事件统一保存在事件中。

配置数据断档检测规则生效后,第一次检测数据断档且持续数据断档,不产生数据断档告警事件;若检测有数据且在配置的自定义检测周期内,数据上报发生断档,则产生数据断档告警事件。

新增 Elasticsearch、Redis 和 Docker 内置检测库

DataFlux 目前支持 Elasticsearch、Redis、Host 和 Docker 监控 4个内置检测库,您无需手动配置,开箱即可使用。若需要了解更多详情,可直接点击对应的内置检测库。

  • Redis 检测库:包括 Redis 等待阻塞命令的客户端连接数异常增加
  • Host 监控:包括主机 CPU、内存、磁盘等多种数据指标
  • Elasticsearch 检测库:包括 ES JVM 堆内存、线程池、搜索查询负载异常等指标
  • Docker 监控:包括容器 CPU、内存等多种数据指标

新增应用性能"所有Trace查看器"

DataFlux 提供三种链路筛选查看列表,分别为“所有Span”、“顶层Span”和“Traceid”。span 表示给定时间段内分布式系统中的逻辑工作单元,多个 span 会构成一条链路轨迹(trace)。

  • 所有 Span:显示当前所选时间范围内,所有采集到Span数据
  • 服务顶层 Span:筛选显示当前所选时间范围内,首次进入的所有Span数据
  • 所有 Trace:筛选显示当前所选时间范围内,所有包含初始顶层span的trace数据

新增链路详情查看拓扑调用关系图

DataFlux 在应用性能监测详情页新增对应服务拓扑调用关系图用来查看各个服务之间的调用关系。

新增用户访问错误详情页

DataFlux 支持在用户访问详情页查看用户访问错误详情,可查看出现在该次用户访问时的错误数据信息、错误类型和错误发生时间。

点击错误信息,可跳转至对应错误的详情页。

新增安全巡检概览统计

在「安全巡检」-「概览」,可以通过筛选主机、安全巡检等级、安全巡检类别来查看不同主机发生安全巡检事件的概览情况,包括不同等级安全巡检事件发生的数量及可视化图表分析,不同类别和规则的安全巡检事件排行榜。

新增安全巡检事件处理建议

在安全巡检查看器,点击想要查看的巡检事件,在划出详情页中,您可以查看对本次安全巡检事件的处理建议,包括安全巡检事件发生的理论基础、风险项、审计方法、补救措施等。

新增二级导航栏

DataFlux 新增支持通过“鼠标悬停“显示二级导航,进而缩短用户找寻目标数据的时间。

新增成员管理搜索功能

DataFlux 支持在「成员管理」通过搜索功能,快速基于邮箱或姓名匹配当前工作空间的成员。

新增绑定内置视图到基础设施对象

DataFlux 支持当前空间管理员绑定内置视图(系统视图、用户视图)到基础设施对象的详情页面。如下图中绑定了内置系统视图“Disk 监控视图”。

优化事件列表按照检测库类型显示

DataFlux 支持在事件列表支持根据不同的检测库类型显示对应的事件信息。

  • 当检测库规则类型为阈值、突变、区间、水位、应用性能指标、用户访问指标检测时,根据配置的触发条件显示对应的基线及其对应信息,包括紧急、错误、警告。
  • 当检测库规则类型为日志、安全巡检、异常进程、云拨测检测时,查询异常事件统计的所有日志数据。

如下图中有三种不同的检测库类型,包括阈值检测、安全巡检检测和进程数据检测。

优化指标集删除

DataFlux 支持管理员删除空间内的指标集,进入「管理」-「基本设置」,点击「删除指标集」后,输入关键字查询并选择指标集名称,点击「确定」后进入删除队列等待删除。删除指标集时,会产生系统通知事件,如用户创建了删除指标集任务、删除指标集任务执行成功、删除指标集任务执行失败等。

优化查看器内置视图查询时间范围

变更内置视图查询时间范围,包括基础设施对象、链路、日志详情页的「主机监控」视图和链路、日志详情页的「进程」视图。

  • 查看链路、日志的详情页面时,「主机监控」默认展示关联的主机在选定时间组件范围内的性能数据
  • 查看基础设施对象(主机、容器)的详情页面时,「主机监控」默认展示最近24小时内主机的性能数据
  • 查看链路的详情页面时,「进程」默认展示该链路发生时间点的前后10分钟内的实时进程数据
  • 查看日志的详情页面时,「进程」默认展示该日志产生时间点的前后10分钟内的实时进程数据

优化查看器快捷筛选交互

DataFlux 各查看器快捷筛选若当前字段对应值过长,超出的部分用···显示,且鼠标移动到当前字段值区域,按照字段值长度向右拓展显示。

2021 年 7 月 1 号

DataFlux Studio

新增未恢复事件统计查看器

DataFlux 新增未恢复事件统计查看器,在DataFlux工作空间的事件,通过切换左上角的查看器,您可以查看到空间内持续被触发的全部未恢复事件,及不同告警级别下未恢复事件的数据量统计、告警信息详情等。

新增图表链接功能

DataFlux 新增时序图、柱状图、概览图、仪表盘、饼图、排行榜、散点图、气泡图、地图、蜂窝图的图表链接功能。图表链接可以帮助你实现从当前图表跳转至目标页面,支持通过模板变量修改链接中对应的变量值将数据信息传送过去,完成数据联动。

图表链接支持通过查询获取模板变量,支持添加平台内部链接和外部链接,支持新页面、当前页面和划出详情页三种打开方式,支持为链接添加别名显示。

链接添加完成后,点击图表即可查看可以点击打开的“自定义链接”。

新增应用性能监测绑定链接和内置视图

DataFlux 支持在单个服务详情中添加内置视图,包括内置视图和可链接的网页地址。在服务列表中,点击「设置」,您可以可添加一个或多个跳转链接地址或内置视图,并自定义名称。

添加内置视面后,您可以通过查看服务详情,查看对应的内置页面。

新增用户访问监测场景PV/UV概览统计

DataFlux 新增用户访问监测的Web、iOS、Android和小程序场景PV/UV概览统计。可快速对比PV/UV的差异,了解实际访问用户数量。

新增通知对象:飞书机器人

DataFlux支持用户管理发送告警的通知对象,目前支持添加邮件、钉钉机器人、企业微信机器人、飞书机器人和Webhook自定义。

优化基础设施资源目录

基础设施除了主机、容器、进程以外的对象数据都可以通过DataFlux Function自定义上报数据到「基础设施」-「自定义」进行查看和分析。支持为资源目录数据绑定内置视图,手动添加标签进行筛选。

资源目录数据上报需要先安装并连通 DataKIt 和 Function,再通过 Function 上报数据到 DataKit,最终 DataKit 上报数据到 DataFlux 工作空间。

优化异常检测库的检测规则

DataFlux 新增异常事件恢复告警配置;新增筛选条件支持正则匹配样式调整,优化=~match ,新增not match;新增触发条件支持非数值型数据匹配,新增 matchnot match正则匹配,新增between

优化查看器详情页关联日志

DataFlux 支持在链路侧滑详情页中关联的日志页面基于trace_id做默认过滤筛选,查看相同trace_id条件下关联的日志详情。

在链路详情内,点击火焰图下方的「日志」,您可以基于当前链路关联的主机、链路ID(trace_id 字段)查看关联日志。同时,您可以对日志进行关键字搜索和多标签筛选。若您需要查看更详细的日志内容,您可以点击日志内容跳转到日志详情页面,或点击跳转按钮到日志页打开。

查看器新增日志关联页面。

优化查看器搜索样式

调整新建场景、指标、应用性能监测、用户访问监测、异常检测库、主机静默管理、集成、管理/内置视图、快照等搜索样式。

部署版本支持修改数据保留时长

工作空间管理的基本信息增加变更数据存储策略。

2021 年 6 月 17 号

DataFlux Studio

新增日志分析模式

DataFlux 支持通过日志的分组功能,对庞大的原始数据基于1-3个标签进行分组处理,以反映出分组数据在不同时间的分布特征与趋势。DataFlux 支持三种分组数据浏览方式:折线图,面积图、柱状图。

新增日志过滤

新增日志过滤功能(日志黑名单),支持设置过滤规则过滤掉符合条件的日志,即配置日志过滤以后,符合条件的日志数据不再上报到DataFlux 工作空间,帮助用户节约日志数据存储费用。

在「日志」-「过滤规则」-「新建规则」,选择“日志来源”,添加一个或多个关系为and(并且) 的数据筛选条件,对采集的日志数据进行过滤。符合筛选条件的日志数据,将不会被上报到工作台。

新增保存指标浏览快照,新增快照链接复制功能

DataFlux 支持为指标查看器创建可快捷访问的数据副本,并统一保存在“快照”目录中;新增生成快照分享链接,支持分享快照链接给空间内其他成员,可快速复现即时拷贝的数据副本信息,将数据恢复到某一时间点和某一数据展示逻辑。

新增容器Pod查看器

DataFlux 在「基础设施」-「容器」新增Pod查看器,通过左上角的筛选可以切换至「Pod」查看采集的全部Pod的详尽信息,包括Pod名称、所属的节点Node、所包含的一个或多个容器、启动状态、运行状态及其相关联的指标等。可通过切换到蜂窝图进行查看。

点击蜂窝图的Pod,可查看该Pod的详情,包括Pod名称、命名空间、可视化监控图表等。

新增免费额度预警通知

新增体验版使用额度预警通知及额度用完通知功能,支持发送邮件和产生系统通知。了解更多消息通知。系统消息通知可在DataFlux工作空间「账号」- 「通知」中查看。

新增图表分享

DataFlux 支持图表分享,可用于在 DataFlux 以外的平台代码中插入图表进行可视化数据展示和分析,分享的图表会根据 DataFlux 中图表的变化而变化。DataFlux在场景视图分享的图表统一存储在「集成」-「内嵌分享」中。

优化图表查询和图表样式及设置

调整优化场景视图中的可视化图表查询、样式和设置布局,新增图表标题隐藏、时间分片设置、概览图数据精度设置、排行榜基线设置、地图/蜂窝图色系填充设置等功能。

优化集成,新增DataKit和Function安装指导,新增内嵌分享

DataFlux支持在集成中查看所有支持的采集器、DataKit安装指令、DataKit升级命令、Function安装指令,以及内嵌分享的图表代码。

在 DataFlux 工作空间,点击 左侧「集成」菜单,即可查看目前支持的所有采集器,点击采集器即可查看该采集器的配置详情。

在 DataFlux 工作空间,点击 「集成」- 「DataKit」,即可获取 DataKit 安装指令,包括Linux、Windows、MacOS三大操作系统以及离线安装方式。若 DataKit 已经安装但是版本不是最新,可以通过此处的“DataKit升级”获取更新脚本。

在 DataFlux 工作空间,点击 「集成」- 「Function」,即可获取 Function 安装指令。

优化主机详情页

在「基础设施」-「主机」,点击列表中的主机名称,即可划出详情页查看主机的基本信息、处理器、内存,网络,硬盘等。支持数据单位自动转换、支持基于不同操作系统展示不同主机监控视图。

2021 年 6 月 3 号

DataFlux Studio

新增浏览器日志采集

DataFlux支持通过web浏览器或者javascript客户端主动发送不同等级的日志数据(对应的source:browser_log指标类型日志数据)到DataFlux。

新增用户访问监测Session查看器

DataFlux用户访问监测查看器新增查看与Web/小程序/Android/iOS应用相关的的用户访问行为监测数据(会话数据)和会话数据详情。在工作空间内打开「用户访问监测」-「选择任一应用」-「查看器」,可切换到会话查看器(Session)。会话查看器统计整个会话的时长、页面数、操作数、错误数等内容,点击单条会话可查看整个会话下的详情记录。通过对会话数据的查看和分析,可以从多维度了解用户真实访问数据情况,帮助提升应用性能体验。

新增浏览器拨测、云拨测异常检测模板及优化自建节点

  1. 浏览器拨测

DataFlux新增浏览器拨测,在 DataFlux「云拨测」,点击「新建」-「Browser拨测」即可新建Browser拨测任务,实时获取Web页面的用户访问体验数据,包括页面加载时间、资源加载时间等。

  1. 异常检测模板

「云拨测数据检测」用于监控工作空间内的云拨测数据,通过对一定时间段内拨测任务产生的指定数据量设置阈值(边界)范围,当数据量到达阈值范围后即可触发告警。同时您可以自定义告警等级,当指定数据量到达不同的阈值范围时,即可出发不同等级的告警事件。

  1. 自建节点

DataFlux云拨测自建节点新增“节点Code”,用于获取节点信息的Code码,在当前空间内节点Code不支持重复。

新增注册欢迎页面

DataFlux账号注册登录后提示欢迎页面,可查看DataFlux介绍小视频,扫码可进入DataFlux微信和钉钉服务群。

新增体验版支持DataFlux Func、调整计费项

DataFlux所有版本全面支持DataFlux Func平台自定义函数,DataFlux Func 是一个基于Python 的类ServerLess 的脚本开发、管理及执行平台。 同时为了降低用户使用DataFlux的费用成本,DataFlux调整了应用性能监测和用户访问监测的计费逻辑,调整后应用性能监测统计trace数量,用户访问监测统计每日session数量。

优化生成指标

新增用户性能监测、用户访问监测、安全巡检生成指标,优化日志生成指标。生成指标可以通过数据筛选、数据查询、生成指标三个步骤完成配置,包括配置维度、聚合时间、定义聚合频率、指标集和指标名生成指标。示例如下:

  1. 应用性能监测

  1. 用户访问监测

  1. 安全巡检

优化内置视图,新增克隆功能

内置视图分成“系统视图”和“用户视图”,支持从“系统视图”克隆到“用户视图”,且允许系统视图与用户视图重名。点击系统视图上的 “查看” 跳转到系统视图详情。

点击“克隆”,打开克隆视图弹窗,点击确定后根据当前视图模板创建对应的用户视图。

创建成功后跳转到上面创建的用户视图页面。

若用户视图和系统视图重名,且系统视图应用在查看器详情视图,如“基础设施-主机-主机详情”下的主机视图,用户视图会代替系统视图在主机视图展示。

优化视图变量

DataFlux支持向视图中添加全局变量,当你想要在视图中,动态地完成图表的筛选时,你可以选择使用视图变量来实现。视图变量配置完成后,可通过“高级设置”选择是否需要开启“默认匹配所有”。

开启后,可通过「*」查看所有主机的综合视图,可手动选择变量筛选查看。

优化查看器

  • 单列信息显示不全时,鼠标悬停延迟1s 后显示全部提示信息;
  • 查看器搜索关键内容时,列表匹配到的内容高亮显示;
  • 详情页标签支持复制功能;主机标签支持【查看相关日志】【查看相关容器】【查看相关进程】【查看相关链路】【查看相关巡检】;
  • 日志、应用性能监测、用户访问监测、云拨测、安全巡检查看器统计图变更为状态统计;
  • 新增开启用户性能监测、用户访问监测、安全巡检帮助链接。

2021 年 5 月 20 号

DataFlux Studio

新增保存快照

DataFlux快照支持为基础设施、日志、事件、应用性能监测、用户访问监测、云拨测、安全巡检的查看器创建快照,通过快照,你可以快速查看和分析不同时间段、不同标签的数据及其异常情况。

新增基础设施主机集成交互

基础设施主机的「集成运行情况」展示了该主机相关的采集器运行情况,运行情况共有两种状态:正常运行状态的集成和发生错误的集成。正常运行状态的集成默认展示为 ‘浅蓝色’,发生错误的集成默认展示为 ‘红色’且支持点击查看错误信息。

同时,通过点击带内置视图符号的集成(如下图),支持“查看监控视图”,点击即可查看相关内置视图。

新增自建节点、优化云拨测节点展示

「云拨测」支持通过 DataFlux Studio 控制台自定义云拨测数据采集。通过新建探测点,您可以周期性的监控基于HTTP 协议下的网站、域名、后台接口等,随时随地分析站点质量情况。DataFlux 在全球已覆盖16个节点,按照国内、海外、自建节点进行分类选择。同时,支持自建拨测节点,充分保障服务的可用性。

新增进程、应用性能监测和用户访问监测检查规则

「进程异常检测」用于监控工作空间内的进程数据,支持对进程数据的一个或多个字段类型设置触发告警。如:你可以基于进程数据中 ‘host’ 字段为 ‘izaqbin’ 并且 ‘state’ 的字段为 ‘sleep’ 出现的次数设置告警。

「用户访问指标检测」用于监控工作空间内「用户访问监测」的指标数据,通过设置阈值范围,当指标到达阈值后触发告警,支持对单个指标设置告警和自定义告警等级。

「应用性能指标检测」用于监控工作空间内「应用性能监测」的指标数据,通过设置阈值范围,当指标到达阈值后触发告警,支持对单个指标设置告警和自定义告警等级。

优化集成

登录DataFlux工作空间,进入「集成」页面,即可查看所有支持的采集器。同时可点击右上角的“快速获取 DataKit 安装命令”,直接获取DataKit的安装指令进行安装,安装完成后即可开启更多采集器收集数据指标。

优化日志生成指标

日志生成指标新增选择日志来源,可以通过选择日志来源、筛选日志、配置维度、聚合频率、定义指标集、指标名和聚合规则生成指标。[了解更多日志生成指标]

优化日志查看器

日志数据采集到的 DataFlux 后,可以在 DataFlux Studio 控制台 「日志」中查看所有的日志来源及其内容,支持通过搜索日志来源选择需要查看的日志详情。

优化用户访问监测查看器

在用户访问监测详情页「性能」,可以查看到前端页面性能,包括页面加载时间、内容绘制时间、交互时间、输入延时等。以下图为例,可以看出LCP(最大内容绘制时间)的指标达到了5.43秒,而推荐的时间在2.5秒以内,说明页面速度载入慢,需要进行优化。支持筛选和搜索,帮助用户快速定位资源和内容。

切换至「链路」时,支持查看向后端应用发出的请求,包括跳用资源的发生时间、内容和持续时间。如:你可以查看通过xhr对象返回的每一个ajax请求。

切换至「错误」时,你可以通过错误发生的详细信息,包括错误信息、错误类型和发生时间快速定位前端错误。

优化内置视图

内置视图分成系统视图和用户视图两种类型,可应用在场景。

系统视图为系统提供已集成的视图模板,支持修改,导出和还原。即用户可直接「导出」系统视图,也可「修改」系统视图。通过「还原」系统视图,可将修改后的系统视图转换为原始系统视图。还原后将无法恢复。

用户视图为用户自定义视图后保存作为模板使用的视图,支持修改,导出和删除。在「内置视图」-「用户视图」,通过点击「新建用户视图」,可以创建用户自定义视图模板,具体配置可参考 场景和视图。

优化图表锁定时间优化

看板视图中支持锁定图表的时间范围,不受全局时间组件的限制。设置成功后的图表右上角会出现用户设定的时间,如「xx分钟」、「xx小时」、「xx天」。

优化嵌套函数

所有图表组件的嵌套函数优化成内置函数,不再调用DataFlux Func的函数,通过DQL来实现,删除嵌套函数时间间隔选项。

2021 年 5 月 7 号

DataFlux Studio

新增日志备份

DataFlux基础日志最多存储60天,如果需要更长时间的存储和查看需要对基础日志进行备份。DataFlux支持备份日志最多存储长达720天。

进入「日志」-「备份日志」页面,默认数据为空,选择时间范围即可查看对应的备份日志,DataFlux 支持通过选择时间范围、搜索关键字,筛选等方式查询和分析日志。点击日志可查看该条日志详情包括日志产生的时间和内容等。

新增安全巡检

DataFlux 支持你通过「安全巡检」及时监控、查询和关联全部巡检事件。在及时发现漏洞,异常和风险的同时,帮助你提高巡检质量、问题分析和问题处理的能力。

在开始安全巡检之前需要先安装[DataKit]及[security-checker],配置完成后即可进入「安全巡检」并通过选择时间范围、搜索关键字,筛选等方式查询和分析。。

新增新手指导

第一次注册登录DataFlux时,可以通过新手引导的方式开启使用DataFlux,根据引导步骤,用户可以自行完成datakit的安装,nginx数据的采集,在日志可查看对应的数据。新手引导关闭后,可通过点击工作空间的用户名称 - 「新手引导」重新打开。

新增柱状图分组堆叠显示

图表堆叠柱状图

柱状图支持【指标堆叠】和【分组堆叠】,默认关闭,开启后,默认选中【指标堆叠】。右侧出现“方式”选项,包含默认、百分比。

  • 指标堆叠:以指标为维度堆叠对比查看分组的标签数据
  • 分组堆叠:以分组的标签为维度堆叠对比查看指标数据

事件查看器堆叠柱状图

DataFlux 支持通过柱状图堆叠的方式查看不同时间点发生的、不同状态的事件统计。

新增腾讯云、AWS云主机详情

若主机是云主机且配置了「云关联」,点击列表中的主机名称即可划出查看云主机对象的「云厂商信息」,包括云平台、实例名、实例ID、实例规格、地域、可用区、创建时间、网络类型、付费类型、IP地址等。

新增主机运行情况集成

主机集成运行情况共有三种状态:正常运行状态的集成、正常运行且存在内置监控视图的集成以及发生错误的集成:

  • 正常运行状态的集成点击无反应
  • 内置监控视图的集成点击后下拉“查看监控视图”,点击即可查看对应的监控视图。

  • 发生错误的集成点击后可以查看最后一条错误反馈信息。

新增关联性分析内置页面

  • 基础设施主机新增进程和容器内置页面
  • 日志新增进程和链路内置页面
  • 链路新增主机监控视图和日志内置页面

优化应用性能监测拓扑图

在「应用性能监测」的「服务」列表中,可切换列表至拓扑图模式查看各个服务之间的调用关系。

  • 新增按照时间轴选取时间范围
  • 新增拓扑图放大缩小,放大状态可在左下角查看小缩略图
  • 新增三种节点大小尺寸
  • 新增选择服务后对应服务高亮显示,其他服务及连接线变灰

优化操作事件和通知事件

  • 操作事件移至「管理」-「基本设置」-「安全审计」,点击“查看”即可看到操作安全事件。
  • 通知事件移至左侧菜单「通知」,点击“通知”即可查看所有的通知事件。

优化付费计划与账单使用统计视图

  • 付费计划与账单使用统计视图新增日志备份统计

2021 年 4 月 15 号

DataFlux Studio

采用机器人大脑的方式,不仅具有强烈的科技感官,突出 DataFlux 海量数据集成、处理、分析的强大能力,像机器人一样能实时、快速、无限扩展,为数据分析、业务运营分析等提供易于使用、灵活多样的可视化图表,提升运营效率。

新增云拨测

DataFlux 为用户提供开箱即用的云测解决方案,支持 HTTP 协议拨测,利用覆盖全球的监控网络,端到端的跟踪网页和应用性能等,记录所有拨测的实时反馈信息,提供DNS、SSL、TTFB等性能测试结果,帮助你提前发现问题,定位问题,提升用户体验。

DataFlux 云拨测支持从地理和趋势两个维度分析当前拨测任务的响应时间和可用率情况。

新增容器对象分布图

[容器对象]新增蜂窝分布图。在容器列表页面,通过点击列表左侧的图标,即可切换到容器分布图显示。通过分布图,你能够可视化查询容器分布信息。分布图支持以下功能:

  • 搜索:输入搜索关键词
  • 筛选:筛选标签并选择过滤对象,可多选
  • 分组:分组展示对象,可多选
  • 填充:选择填充的指标,指标值的大小将决定填充的图例颜色。
  • 填充规则:根据填充指标的结果填充图例颜色。将指标的最大和最小值五等分,得到5个区间,分别对应五个颜色。

新增阿里云云主机详情

若主机是云主机且配置了 「云关联」,点击列表中的主机名称即可划出查看云主机对象的「云厂商信息」,包括云平台、实例名、实例ID、实例规格、地域、可用区、创建时间、网络类型、付费类型、IP地址等。

新增表格图指标排序

表格图支持指标排序,默认按第一个查询的指标排序,点击表头切换升降序,对应查询中的 Top/Bottom 同步调整,点击其他查询的指标进行排序,对应查询中的 Top/Bottom 同步调整。

新增链路快速筛选项「持续时间」

  • 默认进度条最小值、最大值为 [链路] 数据列表里最小和最大的持续时间
  • 支持拖动进度条调整最大/最小值,输入框中的值同步变化
  • 支持手动输入最大/最小值,"按回车键"或"点击输入框外"进行过滤搜索
  • 输入不规范时输入框变红,不进行搜索,正确格式:纯“数字”或“数字+ns/μs/ms/s/min”
  • 若没有输入单位进行搜索,默认直接在输入的数字后面填入"s"然后进行过滤搜索
  • 若手动输入单位,则直接进行搜索

新增邮件组

在 [通知对象] 管理新增邮件组通知对象,邮件组可同时添加多个成员,添加完成后在异常检测库的“告警设置”选择该邮件组,告警邮件即可同时发送到添加的成员邮箱。

优化异常检测库

DataFlux 内置多种检测库,开箱即用。支持主机等多种内置检测库,开启后,即可接收到相关的异常事件告警。

在「检测库」中支持「导入/导出检测库」,配置完所有的检测规则后,可以通过 json 文件的方式导出检测库,导出的检测库可以导入其他的检测库,导入检测库时会验证是否存在重名检测项,可进行「替换」或「跳过」。

优化对象查看器和详情

  • 主机对象新增操作系统小图标显示
  • 容器对象新增容器类型小图标显示
  • 进程侧滑详情页新增显示「启动时间」

优化数据存储策略、付费计划和账单

  • 工作空间管理的基本信息增加变更数据存储策略
  • 工作空间管理的使用统计优化为付费计划和账单

2021 年 4 月 7 号

DataFlux Studio

新增视图变量对象映射

使用「对象映射」时,必须先定义一个基于对象类字段的视图变量,在「视图变量」中配置完对象映射以后,需要在「图表查询」中以映射的标签字段作为分组,在「图表设置」中开启「字段映射」,然后就可以在视图图表中查看设置的对象映射显示。

优化事件分组

DataFlux 支持「异常事件」按照「检测项」分组聚合相关事件,点击查看「聚合事件」,可以快速查看关联事件列表、不同主机的异常事件状态分布和指标监控等。异常事件状态分布包括 critialerrorwarningok静默 ,对应五种状态颜色,底色为绿色,按照事件发生的时间点向后填充对应状态颜色,填充范围即检测频率,当分组中存在host,且设置了主机静默,静默时间范围显示为灰色。

优化检测项查询

「异常检测库」中「检测规则」的「检测指标」只允许添加一条查询,默认添加简单查询,支持简单查询和「表达式查询」来回切换;统一将「检测规则」的「触发条件」M1修改为Result;支持为查询添加AS别名。

DataKit(v1.1.4-rc2)

  • 修复阿里云监控数据采集器(aliyuncms)频繁采集导致部分其它采集器卡死的问题。

2021 年 3 月 25 号

DataFlux Studio

新增云服务关联

DataFlux 支持通过通过「云关联」统一集中管理云服务账号的 AccessKey 信息,配置完成以后可在 [基础设施-主机] 定期同步所属云账号下的云主机信息,展示所有云主机信息,如CPU、内存、网络、磁盘等。

若不再需要关联,可删除已关联的阿里云 RAM 子账号 AK 信息。关联信息删除后,会触发关联失效通知事件,可在 事件-通知事件 中查看。更多云关联的说明可参考文档 云关联 。

新增操作事件审计

DataFlux 支持对工作空间的操作事件进行安全审计,操作事件统一存储在事件-「操作事件」中。

新增主机静默

若需要对单个云主机进行如压测等操作,会触发频繁的告警,对于这种告警通知,可临时开启主机静默功能。在「基础设施」-「主机」,点击云主机详情即可选择主机静默时间。

所有静默的主机列表可在「异常检测库」-「主机静默管理」中查看。删除静默的主机后,可以重新接收到对应主机的告警通知。

新增通知对象:企业微信机器人

DataFlux支持用户管理发送告警的通知对象,目前支持添加邮件、钉钉机器人、企业微信机器人和Webhook自定义。

优化事件查看器,新增事件分组聚合查看

在事件列表查看器,通过分组功能,DataFlux支持快速依据分组标签聚合和统计相关事件。例如,在「异常事件」中,基于"检测项“分组,你可以快速获取基于该检测项触发的全部事件。通过切换聚合事件列表,你可以查看这些事件的详情。

优化链路服务筛选及拓扑图

在「应用性能监测」的「服务」列表中,支持切换列表至拓扑图模式查看各个服务之间的调用关系。支持通过不同的性能指标进行筛选显示,并可自定义链路服务性能指标颜色区间。

其他优化功能

  • 优化日志、事件、基础设施、应用性能监测、用户访问检测查看器搜索和导出,新增导出到视图。优化日志、事件、链路、基础设施-容器、基础设施-进程详情页标签筛选、关联查询分析。
  • 优化时间组件,优化场景视图下单查询图表(概览图、仪表盘、排行榜)简单查询和表达式查询互相切换
  • 优化主机 offline 显示:当主机 offline 状态时,cpu使用率、mem使用率、负载均不作显示,值填充为“ - ”
  • 优化异常检测库检测规则,新增水位检测、区间检测和突变检测。

DataKit(v1.1.4-rc1)

  • 进程采集器 message 字段增加更多信息,便于全文搜索
  • 主机对象采集器支持自定义 tag,便于云属性同步

DataKit(v1.1.4-rc0)

  • 增加文件采集器、拨测采集器以及HTTP报文采集器
  • 内置支持 ActiveMQ/Kafka/RabbitMQ/gin(Gin HTTP访问日志)/Zap(第三方日志框架)日志切割
  • 丰富 [http://localhost:9529/stats] 页面统计信息,增加诸如采集频率(n/min),每次采集的数据量大小等
  • DataKit 本身增加一定的缓存空间(重启即失效),避免偶然的网络原因导致数据丢失
  • 改进 Pipeline 日期转换函数,提升准确性。另外增加了更多 Pipeline 函数(parse_duration()/parse_date())
  • trace 数据增加更多业务字段(project/env/version/http_method/http_status_code)
  • 其它采集器各种细节改进

2021 年 3 月 4 号

DataFlux Studio

1. 优化时序图、柱状图、排行榜、日志流图、告警统计图、对象列表图

  • 时序图:新增「显示密度」,包括「较低:60个点」、「低:180个点」、「中:360个点」、「高:720个点」。新增「堆叠显示」,仅支持柱状图,默认关闭
  • 排行榜:图表显示优化
  • 柱状图:图表显示优化
  • 日志流图:增加搜索框,支持对message内容进行搜索
  • 告警统计图:查询显示优化
  • 对象列表图:查询显示优化

2. 新增自动转换单位

  • 默认查询结果值自动转换单位展示遵循「科学计数 K、M、B」,保留两位小数点(1千 = 1K,100万 = 1M,10亿 = 1B)
  • 人民币自动转换单位「元、万、亿」,保留两位小数点
  • 设置单位后,取消科学计数,按用户设置的单位显示

3. 新增对象管理

DataFlux支持用户管理发送告警的通知对象,目前支持添加钉钉机器人通知配置和Webhook自定义通知配置两种方式。

4. 调整事件、日志、链路追踪、应用监测、对象主机、对象容器、对象进程、对象其他查看器,支持导出CSV文档,最大支持导出最近5000条数据。

  • 事件

DataFlux 支持采集基于「异常检测库」所产生的所有事件数据。用户可在事件页面查看和搜索工作空间内所有的事件数据。

  • 对象主机

DataFlux 支持采集对象主机数据。在「对象」的主机列表,可以查看和搜索所有的主机对象数据信息。

点击列表中的主机名称即可划出详情页查看主机对象的详细信息,包括基本信息,CPU,内存,网络,硬盘等。

  • 对象容器

DataFlux 支持采集对象容器数据。在「对象」的容器列表,可以查看和搜索所有的容器对象数据信息。点击列表中的容器名称即可划出详情页查看容器对象的详细信息。

  • 对象进程

DataFlux 支持采集对象进程数据。在「对象」的进程列表,可以查看和搜索所有的进程对象数据信息。点击列表中的进程名称即可划出详情页查看进程对象的详细信息。

  • 对象其他

DataFlux 支持采集对象其他数据,如阿里云ECS等。在「对象」的其他列表,可以查看和搜索所有的其他对象数据信息。点击列表中的其他对象名称即可划出详情页查看其他对象的详细信息。

  • 日志

DataFlux 支持采集各种格式的日志数据,包括系统日志、Niginx 日志、Apache 日志在内的多种日志数据,可快速查看和分析当前工作空间所有日志数据。

  • 链路追踪

DataFlux 支持在「链路追踪」查看链路服务和链路列表,在服务列表中,可以查看或搜索全部接受链路数据的服务。在链路列表中,可以查询链路数据,导出链路数据,查看链路详情并通过火焰图、span列表等对链路性能进行全量分析。

DataFlux 支持同时支持浅色和深色的主题显示,这里以深色为例。

服务列表

链路拓扑

链路列表

火焰图

  • 应用监测

DataFlux 支持采集Web、Android、iOS和小程序应用数据,并提供了应用监控场景,可快速查看和分析应用状况。以Web应用为例:

Web应用查看器

Web应用详情

2021 年 2 月 2 号

DataFlux Studio

  • 新增时序图样式面积图
  • 新增对象主机、容器、进程,新增主机蜂窝图
  • 优化异常检测,新增内置检测库
  • 优化事件、对象、日志、链路、应用查看器及页面功能
  • 优化日志流图图表查询
  • 优化排行榜、仪表盘、概览图图表查询,新增表达式查询模式。
  • 优化可视化图表查询,简单查询和DQL查询支持互相切换
  • 优化分组逻辑,包括散点图、气泡图、地图、蜂窝图、表格图
  • 优化筛选条件支持实时过滤

DataKit

  • 新增主机对象数据采集
  • 新增容器对象数据采集
  • 新增进程对象数据采集

2021 年 1 月 14 号

DataFlux Studio

  • 新增Explorer布局,优化数据结构,支持对象/链路/RUM/日志等模块查询/分析
  • 新增小程序应用监测
  • 新增时序图,图表类型可以选择折线图或柱状图
  • 调整图表UI
  • 调整日志流图图表查询和设置
  • 优化柱状图、排行榜、表格图相关设置
  • 阈值检测调整为DQL的UI查询模式

文档评价

文档内容是否对您有帮助? ×