跳转至

更新日志(2020 年)


本文档记录观测云每次上线发布的更新内容说明,包括 DataKit、观测云最佳实践、观测云集成文档和观测云。

2020 年 12 月 29 号

DataFlux Studio

  • 新增内置视图
  • 新增图表类型:图片
  • 新增柱状图支持堆叠图和百分比堆叠图
  • 新增转换单位:流量、带宽、时间戳
  • 优化数据网关页面,新增选择开启主机监控
  • 优化DQL查询、DQL函数、DQL命令行客户端
  • 优化图表查询方式,支持普通查询、表达式查询、DQL查询
  • 优化视图变量管理方式,支持DQL查询
  • 优化预览/编辑视图,添加图表交互
  • 优化场景创建,支持基于视图模板进行创建
  • 优化对象监控视图,支持绑定视图
  • 关系图支持保存为图表,并优化绘制交互
  • 优化节点树的点击交互

DataKit

  • 新增微信小程序应用监测数据采集
  • 新增默认开通主机监控配置文件

2020 年 12 月 15 号

DataFlux Studio

  • 新增 RUM 应用监测模块,支持 Web、IOS、Android 应用监测
  • 新增 DQL 查询,支持远程 CLI
  • 新增组合图图表,最多支持5个图表组合
  • 新增排行榜图表,支持柱状图和表格图两种图表类型展现方式
  • 新增图表链接,支持折线图、饼图、柱状图、表格图从当前页面跳转至目标页面
  • 新增图表标题描述
  • 新增地图图表指标 Top5 排行榜及正/倒序排列
  • 优化散点图,增加气泡图,支持用散点大小来表示数据大小

DataKit

  • 新增 Web、IOS、Android 应用监测数据采集

2020 年 11 月 26 号

DataFlux Studio

  • 调整计费模式为按量付费
  • 新增使用统计模块,用于查看版本信息及收费项目的使用情况
  • 新增添加对象功能,支持自定义对象的属性和标签
  • 对象新增关系图功能
  • 日志、事件、链路新增快捷筛选,支持用户自定义标签
  • 官网新增计费相关落地页

DataKit

  • 新增阿里云、腾讯云、华为云、Docker 容器对象采集

2020 年 11 月 5 号

DataFlux Studio

  • 时间组件新增相对时间的选择,和数据刷新时间的调整
  • 支持针对不同视图设置不同的时间范围
  • 对象、链路新增标签筛选功能,可对数据进行过滤
  • 新增 2 个图表类型:对象列表图、告警统计图
  • 日志流图表新增单位设置和添加显示列功能
  • 新增指标查询复制功能
  • 异常检测新增日志检测
  • 优化事件页面的数据加载速度
  • 优化若干交互及前端界面,提升用户体验

2020 年 10 月 15 号

DataFlux Studio

  • 优化了日志、事件、对象的详情页面,可以更清晰直观的查看详细信息
  • 视图变量新增搜索功能
  • 新增图表复制功能,支持复制图表,并粘贴至任意场景
  • 调整了对象的数据结构
  • 修复若干样式问题,提高了图表的加载速度

DataKit

  • 优化CSV/Excel 指标采集
  • 新增华为云云监控指标、TIDB指标采集

2020 年 9 月 22 号

DataFlux Studio

  • 新增「深色模式」主题

2020 年 9 月 17 号

DataFlux Studio

  • 对象新增监控视图功能,可用于IT基础设施等监控
  • 新增对象类型的视图变量

2020 年 9 月 8 号

DataFlux Studio

  • 新增指标搜索功能
  • 新增面包屑功能
  • 优化若干交互及前端界面,提升用户体验
  • 修复已发现的 bug

2020 年 8 月 20 号

DataFlux Studio

  • 优化场景创建流程,调整节点树的展示效果
  • 优化新建节点的流程及页面UI
  • 视图模板新增采集源配置功能,支持导入模板文件自动生成采集源配置。
  • 新增 1 个图表类:蜂窝图
  • 修复已发现的 bug

2020 年 8 月 6 号

DataFlux Studio

  • 「链路追踪」新增服务拓扑图功能,用来展示服务间的调用关系
  • 「日志」「对象」和「链路」新增列表设置功能,支持自定义显示列以及列名;新增显示设置功能,支持隐藏“筛选栏”和“统计图”
  • 新增工单功能,可基于使用中遇到的问题提交工单进行提问和建议

DataKit

  • 新增 15 个数据源:ASP .NET、.NET CLR、Druid、Envoy、Ansible、Kibana、Microsoft Exchange Server、ModBus、MQTT Consumer、Nfsstat、Puppet Agent、systemd_utils、Kong 监控指标、微信小程序运营指标以及 AWS CloudWatch 日志及事件采集

2020 年 7 月 16 号

DataFlux Studio

  • 调整左侧导航菜单栏,新增日志、链路追踪、对象功能模块
  • 新增日志的采集和管理功能,支持基于日志数据进行“提取标签”和“生成指标”数据
  • 新增链路追踪功能,用于链路数据的分析管理,适用于应用性能(APM)的监控
  • 新增对象的采集和分析功能,支持手动添加对象
  • 「关键事件」更名为事件,重构了业务逻辑,并对显示界面进行了调整,支持聚合相关事件;支持显示事件触发的相关指标折线图;支持在分析模式下基于图表新建事件
  • 场景新增 4 类视图分类,分别为「日志视图」「事件视图」「链路视图」和「对象视图」,支持将日志、事件、链路、对象保存到对应的视图进行查询分析
  • 新增标签的关联分析功能。支持针对标签查询相关指标、日志、对象、事件和链路
  • 「指标浏览」更名为「指标」,新增平铺模式,支持同时查看多个指标折线图
  • 「触发器」更名为「异常检测」,调整“基本检测”为“阈值检测”,“高级检测”为“自定义检测函数”,并新增事件检测、突变检测、区间检测、水位检测 4 种异常检测类型
  • 删除「触发历史」模块,告警历史数据将直接保存至事件
  • 新增一个图表类型:日志流图,支持向视图中添加日志数据表
  • 指标查询 UI 模式下,新增 influxdb 自带的转换函数
  • 新增 5 个视图模板:etcd 监控视图、CoreDNS 监控视图、 Traefik 监控视图、Hadoop 监控视图、RaspberryPi(树莓派)监控视图
  • 其他优化调整
  • 优化导航菜单收起/展开样式
  • 集成页面新增是否已验证标示,包含「已验证」和「Bate」两种状态
  • 优化衍生节点的排序方式,默认按照节点名称首字母升序展示
  • 优化若干界面的 UI 设计,新增视图图表 hover 显示效果
  • SaaS 版用户注册新增企业/团队信息

DataFlux Admin Console

  • 调整 DataWay 网关使用逻辑,DataWay 安装移至管理后台,所有空间成员均可使用
  • 支持设置不同类型的数据保留时长

DataKit

  • DataKit 新增 15 个数据源:Containerd 、GitLab、Yarn、Harbor、Tailf、Rsyslog 、Jira 、AWS CloudWatch Log、、RaspberryPi(树莓派)、Go 运行时指标、Neo4j 监控指标、目录监控指标、阿里云安全指标、百度指数以及主机对象数据采集
  • DataKit 支持通过 Zipkin 和 Jaeger 采集链路追踪的数据
  • 调整了 DataKit 安装命令,DataKit 安装支持更多的平台,同时支持离线安装
  • 调整了 DataKit 相关配置,部分采集器有一些字段上的调整,不建议 copy 原 conf.d 目录到新的采集器中
  • 整理了 DataKit 配置文件目录结构和默认安装路径

DataWay

  • DataWay 新增写入日志数据、对象数据的接口同时调整了事件数据的写入接口

2020 年 5 月 7 号

DataFlux Studio

  • 图表新增散点图,可展示数据的分布情况
  • 指标浏览中 “指标集” 新增 「配置自动聚合规则」 功能,支持按照设定的聚合规则对采集的指标自动降精度
  • 移除视图中的数据集模式,优化了指标浏览的交互,并在浏览指标时新增了表格模式查看
  • 优化集成组件的展示效果
  • 修复登录后在一段时间后会自动登出的 bug 以及新建查询时某些情况下标签过滤条件未保存的 bug 和其他若干 bug,提高了产品可用性

DataFlux Admin Console

  • 工作空间新增数据仓库配置,可配置指定的的指标集将数据同步到数据仓库中
  • 工作空间支持配置开启和关闭指标集自动聚合功能

DataFlux f(x)

  • 《DataFlux.f(x)包学包会》更新到最新版
  • 授权链接GET方式访问支持扁平形式(?kwargs_key=value)和简化形式(?key=value)

2020 年 4 月 29 号

数据采集

  • DataKit 新增 6 个数据源:Oracle 监控指标、CoreDNS、uWSGI、Traefik、Solr以及 阿里云 RDS 慢查询日志。新增对 Express 项目的监控指标采集
  • 新增四个视图模板,:自建MySQL监控、阿里云云数据库PolarDB MySQL监控、阿里云云数据库PolarDB PostgreSQL监控、和 阿里云云数据库RDS for PostgreSQL监控;优化了两个视图模板:MySQL监控、PostgreSQL监控

2020 年 4 月 21 号

DataFlux Studio

  • 新增一个图表类型:自定义图表,支持基于自定义的背景图片绘制图表
  • 基础图表中新增“自动对齐时间间隔”功能。系统根据选择的时间范围和聚合时间计算出时间间隔后,将按照预设的自动对齐时间间隔( 包含 1分钟、5分钟、10分钟、30分钟、1小时等 10 种时间间隔)就近向上动态的调整查询
  • 图表新增自适应视图窗口功能。当视图中仅存在一个图表时,支持选择「铺满视图」使图表一键自适应整个视图窗口
  • 添加节点时,衍生节点支持指定指标集和节点图标
  • 调整了左侧导航栏的分类及名称
  • 基本设置中支持查看当前工作空间的版本;
  • 调整了 SAAS 版本的数据网关界面
  • 修复若干 bug,提高了系统稳定性

DataKit(v1.0.0-109-g13b2ced

  • 新增 timezone、StatsD、SSH、lighttpd、etcd、以及 阿里云询价 六个数据源的数据采集支持
  • 支持 CentOS 6.7 及 Ubuntu 14.04 以上操作系统
  • DataKit 支持级联以及 Lua 脚本清洗

2020 年 4 月 14 号

DataFlux Studio

  • DataFlux 线上新增产品版本限制,所有新增的工作空间默认为体验版(时间线500条、数据保留时长1天、触发规则数1个、触发规则有效期7天 )
  • 重构和优化了触发器的底层逻辑;同时触发规则支持自定义无数据告警的消息内容,新增高级检测功能,支持在 DataFlux f(x)平台自主开发高级检测函数
  • 优化了图表的加载速度以及 SQL 的查询
  • 修复了图表别名及颜色显示出错的问题
  • 修复了指标集不能删除的问题
  • 修复了指标集中名称中如果存在英文点号数据无法查询的问题

DataFlux Admin Console

  • 调整“添加工作空间”逻辑,删除“选择已有数据库”和“设置数据权限”的功能,所有新建工作空间均“自动创建新数据库”
  • 新建工作空间支持设置“数据保留时长”和“触发历史保留时长”

DataFlux.f(x)

  • 增加官方脚本库在线更新功能,官方脚本不再需要导出后导入
  • 官方脚本库增加简单检测支持(需要安装最新版官方库)
  • 编辑器使用严格等宽字体,保证1个中文等于2个英文宽度
  • 修复了已知问题并提高了系统稳定性

DataWay(V1.0.1-401-ga917b59)

  • Lua 模块中 MongoDB/Redis/MySQL 增加连接池功能(默认启用)
  • 移除对 $flow_ 、 $alert 等指标的正确性验证
  • DataWay 增加数据上报安全认证机制,所有已部署的 DataWay 都必须进行升级,否则无法继续使用

2020 年 4 月 3 号

  • 折线图、柱状图、饼图的图表「设置」中支持设置颜色,且支持分组后针对不多分组设置颜色
  • 图表设置中支持自定义指标单位
  • 修复 safari 兼容性问题
  • 优化侧边导航栏

2020 年 3 月 31 号

DataFlux Studio

  • 帮助中心新增搜索功能,支持快速定位目标关键词
  • 场景节点新增分享功能,支持查看分享历史、编辑分享、取消分享和查看分享二维码。
  • 场景节点新增搜索功能,支持查看搜索历史
  • 调整基线功能,将原「查询」和「异常检测」中的“基线”移至“折线图”和“柱状图”的设置中
  • 「指标浏览」中支持查看指标集的 “数据类型”
  • 针对 IT 运维场景新增 37 个视图模板
  • 调整图表查询规则及 UI 样式,支持一个指标集选择多个 field ,支持聚合函数嵌套使用;
  • 优化场景节点树,记录展开状态的选择状态;修复了选中问题
  • 优化左侧导航栏,支持收缩显示,增加图表可视化面积
  • 优化了指标查询中“自定义SQL”功能,支持返回点数限制和时间限制
  • 优化界面中 tag key,tag value,measurement、fieldkey 查询慢的问题

DataFlux Mobile

  • 新增“服务协议”确认功能,同意后才可使用 APP
  • 新增节点导入功能,支持直接查看节点图表

数据采集

  • 新增 PostgreSQL、MongoDB、网络旁路抓包(pcap)以及 阿里云 CDN 四个数据源的数据采集支持

2020 年 3 月 16 号

DataFlux Studio

  • 支持用户退出工作空间;支持管理员解散工作空间
  • 图表分析模式下,折线图支持调整查询条件;支持关键事件按时间聚合展示;支持关键事件列表展示
  • 新增概览图、折线图、柱状图同期对比功能
  • 新增两个图表类型:中国地图、世界地图
  • 新建图表中,别名支持格式化展示,包含“只显示分组名”、“只显示指标名”等
  • 新建子节点时允许不继承父节点标签筛选
  • 支持锁定图表的时间范围,不受全局时间范围的限制
  • 优化表格图,支持查询方式按分组显示
  • DataFlux 现支持  Warehouse 功能
  • 修复饼图,表格图聚合模式,仪表盘,柱状图分组模式下查询的数据不正确的问题
  • 优化集成组件的筛选方式
  • 修复触发规则有时不产生触发历史的 bug

DataFlux Admin Console

  • 添加工作空间支持“自动创建新数据库”和“选择已有数据库”两种方式
  • 优化默认工作空间的名称,统一为【用户名】的工作空间

DataFlux.f(x)

  • 「简易调试面板」现已支持内置 DataWay 浏览工作空间列表
  • 「脚本列表」新增「快速查看面板」,可在编辑脚本时同时查看另一个脚本代码
  • 「DataWay 操作对象」现已支持指定 Token 进行数据写入
  • 「脚本编辑器」不再允许多个窗口编辑同一个脚本
  • 「@DFF.API」现已支持 cagetory='check' 选项,用于标示检测类函数
  • 修复已知问题并提高了系统稳定性

数据采集

  • 新增 5 个 DataWay API:/v1/config/v1/reload/v1/lua/v1/lua/list/v1/license
  • 优化 /v1/write/metrics API 功能
  • DataWay 升级,现已支持合并新老配置文件。包含 remote_hostcollect_secondlua_workeraccess_keysecret_key 等可以通过命令行传入的参数
  • DataWay 安装新增两个参数支持:DW_ ENABLE_ CONFIG_ API 和 DW_ CONFIG_ PASSWORD,分别为允许开启 config API 及设置 config API 密码。一但开启 config API,如果没有指定密码,安装将失败。
  • 调整 DataWay Cache 清理行为:限制单次清理数量,提高清理频率
  • DataWay Lua 脚本相关
  • 所有 Lua 文件统一放在 < DataWay-安装目录 >/lua 下,旧版本所有 Lua 配置需手动移至此目录下,必要情况下需更改路由配置
  • 不再支持绝对路径的 Lua 配置,若在旧版本已进行了配置,需手动做处理
  • DataKit 允许通过 X-Token 头指定 token 向公共 DataWay 传送数据

2020 年 3 月 13 号

数据采集

  • 新增 DataWay Android SDK、DataWay iOS SDK、DataWay Python SDK、DataWay Javascript SDK

2020 年 3 月 11 号

数据采集

  • DataKit(v1.0.0-44-gaa4a656) 数据源新增支持 Azure Monitor、Zabbix、Promethues Exporter、NSQ 监控指标、网络端口扫描、Kubernetes 监控数据、Github 及 Java 中间件(Cassandra、Hadoop-HDFS、Java JVM、JBoss、Kafka、Tomcat、Weblogic、BitBucket)监控数据采集
  • DataWay 新增对 Logstash、Promethues 数据采集器的支持
  • 发布 CSV 数据采集器
  • 新增对 Oracle 数据采集支持

2020 年 3 月 5 号

DataFlux Studio

  • 指标集支持删除

DataFlux Admin Console

  • 后台添加管理员帐号和成员帐号增加密码强度要求

2020 年 2 月 28 号

DataFlux Studio

  • 图表查询新增自定义函数模式,支持使用 DataFlux.f(x) 开发自定义查询函数
  • 视图变量新增排序功能,在创建和修改视图变量时支持对变量值进行排序和预览
  • 优化 SQL 模式模式,支持 UI 模式直接映射 SQL 模式,增加执行按钮和错误提示反馈
  • 优化图表查询下函数的交互体验,增加函数说明的提示
  • 优化概览图的取值方式,支持选择聚合算法
  • 修复表格图表存在 null 数据界面不显示的问题
  • 修复柱状图 top 设置排序不对的问题

DataFlux Admin Console

  • 管理后台账号新增角色功能,分为管理员和开发者角色,开发者只能登录 DataFlux.f(x) 平台

DataFlux.f(x)

  • 新增数据源结构浏览器
  • 代码编辑器可切换查看已发布,编辑中,DIFF
  • UI/API增强异步调用支持
  • 增加查询函数支持(category=query)
  • 更新内置官方脚本包
  • 修复已知问题并提高系统稳定性

数据采集

  • DataKit 新增阿里云日志服务(SLS)数据采集、阿里云操作审计(ActionTrail)数据采集、Kafka Consumer 数据采集、路由追踪指标采集、Kubernetes 监控指标、Kube Inventory 监控指标采集、HTTP 性能指标采集
  • 新增 Oracle 数据采集
  • DataWay 兼容 DataX 数据同步工具

2020 年 2 月 20 号

DataFlux Studio

  • 新增命令组件,图表中支持命令组件的创建与设置
  • 优化了图表添加的交互方式和图表的分类,包括基础图表和高级图表。
  • 新增图表的 PNG 图片导出功能
  • 概览图新增 maping 功能
  • 集成新增场景分类筛选
  • 添加、修改场景时,支持对场景数据范围的进行设置
  • 优化了图表数据的显示,所有 float 类型数据保留两位小数
  • 支持为节点添加自定义图标
  • 触发规则中的触发动作,新增动作函数的触发
  • 新增 DataFlux EBA Agent Builder,通过 DataFlux EBA Agent Builder 可打包生成针对企业行为分析场景的专用采集器
  • 系统部署时支持通过配置 Continuous Query 规则对指标进行降精度设置

DataKit

  • 新增支持对 agent 的配置
  • 修复阿里云费用采集的相关 bug
  • 优化采集和上报性能

2020 年 2 月 15 号

DataFlux Studio

  • 修复视图偶尔白屏的问题
  • 修复分析模式中预测函数无法输入自定义参数的问题
  • 修复 SQL 模式下柱状图无法显示的问题
  • 修复私有部署版本生成的场景二维码无法在移动端扫描添加的问题
  • 修复表格图上一页和下一页不能点击、定时刷新后回到第一页、重复数据被屏蔽、分页后数据为空则不显示分页条的问题

DataFlux.f(x)

  • 脚本编辑器添加只读模式,点击开始编辑才进入编辑
  • 修复脚本函数返回非标准JSON时,API接口失败的问题
  • 修复文案、展示问题,补充页面提示

2020 年 2 月 10 号

  • 新增场景模板模板,创建场景支持基于模板创建,已创建的场景可导出为模板
  • 场景支持分享功能,分享后可通过 DataFlux APP 或小程序在移动端查看
  • 视图支持添加流程图、视频、实时视频流
  • 新增图表组合功能,柱状图与折线图组合、概览图与折线图组合
  • 图表查询的转换函数支持选择通过 DataFlux f(x) 开发的自定义转换函数
  • 发布 DataFlux 移动端 APP,场景发布后支持在 APP 中扫码查看
  • 柱状图支持 TopList 展示方式
  • 优化视图显示页面,支持动态加载图表
  • 优化 Dataway 管理界面的监控视图
  • 发布了 DataWay API 文档和 SDK
  • 指标集多 RP(数据保留策略) 支持

2020 年 1 月 10 号

  • 新增 Telegraf 采集器配置文档
  • DataKit 采集器新增支持 snmpsyslogexecvarnishNSQ Consumer 采集源配置
  • 优化查询的返回数据点太多时页面加载性能
  • 优化字符串类型指标设置触发规则时的配置逻辑:去掉字符串不支持的聚合函数;优化字符串 count 聚合时的触发条件的设置
  • 修复将场景钉到首页后跳转错误的问题
  • 修复柱状图多个查询,显示错位的问题
  • 修复新建查询时删除自定义表达式后查询无数据的问题

文档评价

文档内容是否对您有帮助? ×