更新日志（2020 年）¶
本文档记录观测云每次上线发布的更新内容说明，包括 DataKit、观测云最佳实践、观测云集成文档和观测云。
2020 年 12 月 29 号¶
DataFlux Studio¶
- 新增内置视图
- 新增图表类型：图片
- 新增柱状图支持堆叠图和百分比堆叠图
- 新增转换单位：流量、带宽、时间戳
- 优化数据网关页面，新增选择开启主机监控
- 优化DQL查询、DQL函数、DQL命令行客户端
- 优化图表查询方式，支持普通查询、表达式查询、DQL查询
- 优化视图变量管理方式，支持DQL查询
- 优化预览/编辑视图，添加图表交互
- 优化场景创建，支持基于视图模板进行创建
- 优化对象监控视图，支持绑定视图
- 关系图支持保存为图表，并优化绘制交互
- 优化节点树的点击交互
DataKit¶
- 新增微信小程序应用监测数据采集
- 新增默认开通主机监控配置文件
2020 年 12 月 15 号¶
DataFlux Studio¶
- 新增 RUM 应用监测模块，支持 Web、IOS、Android 应用监测
- 新增 DQL 查询，支持远程 CLI
- 新增组合图图表，最多支持5个图表组合
- 新增排行榜图表，支持柱状图和表格图两种图表类型展现方式
- 新增图表链接，支持折线图、饼图、柱状图、表格图从当前页面跳转至目标页面
- 新增图表标题描述
- 新增地图图表指标 Top5 排行榜及正/倒序排列
- 优化散点图，增加气泡图，支持用散点大小来表示数据大小
DataKit¶
- 新增 Web、IOS、Android 应用监测数据采集
2020 年 11 月 26 号¶
DataFlux Studio¶
- 调整计费模式为按量付费
- 新增使用统计模块，用于查看版本信息及收费项目的使用情况
- 新增添加对象功能，支持资源目录的属性和标签
- 对象新增关系图功能
- 日志、事件、链路新增快捷筛选，支持用户自定义标签
- 官网新增计费相关落地页
DataKit¶
- 新增阿里云、腾讯云、华为云、Docker 容器对象采集
2020 年 11 月 5 号¶
DataFlux Studio¶
- 时间组件新增相对时间的选择，和数据刷新时间的调整
- 支持针对不同视图设置不同的时间范围
- 对象、链路新增标签筛选功能，可对数据进行过滤
- 新增 2 个图表类型：对象列表图、告警统计图
- 日志流图表新增单位设置和添加显示列功能
- 新增指标查询复制功能
- 异常检测新增日志检测
- 优化事件页面的数据加载速度
- 优化若干交互及前端界面，提升用户体验
2020 年 10 月 15 号¶
DataFlux Studio¶
- 优化了日志、事件、对象的详情页面，可以更清晰直观的查看详细信息
- 视图变量新增搜索功能
- 新增图表复制功能，支持复制图表，并粘贴至任意场景
- 调整了对象的数据结构
- 修复若干样式问题，提高了图表的加载速度
DataKit¶
- 优化CSV/Excel 指标采集
- 新增华为云云监控指标、TIDB指标采集
2020 年 9 月 22 号¶
DataFlux Studio¶
- 新增「深色模式」主题
2020 年 9 月 17 号¶
DataFlux Studio¶
- 对象新增监控视图功能，可用于IT基础设施等监控
- 新增对象类型的视图变量
2020 年 9 月 8 号¶
DataFlux Studio¶
- 新增指标搜索功能
- 新增面包屑功能
- 优化若干交互及前端界面，提升用户体验
- 修复已发现的 bug
2020 年 8 月 20 号¶
DataFlux Studio¶
- 优化场景创建流程，调整节点树的展示效果
- 优化新建节点的流程及页面UI
- 视图模板新增采集源配置功能，支持导入模板文件自动生成采集源配置。
- 新增 1 个图表类：蜂窝图
- 修复已发现的 bug
2020 年 8 月 6 号¶
DataFlux Studio¶
- 「链路追踪」新增服务拓扑图功能，用来展示服务间的调用关系
- 「日志」「对象」和「链路」新增列表设置功能，支持自定义显示列以及列名；新增显示设置功能，支持隐藏“筛选栏”和“统计图”
- 新增工单功能，可基于使用中遇到的问题提交工单进行提问和建议
DataKit¶
- 新增 15 个数据源：ASP .NET、.NET CLR、Druid、Envoy、Ansible、Kibana、Microsoft Exchange Server、ModBus、MQTT Consumer、Nfsstat、Puppet Agent、systemd_utils、Kong 监控指标、微信小程序运营指标以及 AWS CloudWatch 日志及事件采集
2020 年 7 月 16 号¶
DataFlux Studio¶
- 调整左侧导航菜单栏，新增日志、链路追踪、对象功能模块
- 新增日志的采集和管理功能，支持基于日志数据进行“提取标签”和“生成指标”数据
- 新增链路追踪功能，用于链路数据的分析管理，适用于应用性能（APM）的监控
- 新增对象的采集和分析功能，支持手动添加对象
- 「关键事件」更名为事件，重构了业务逻辑，并对显示界面进行了调整，支持聚合相关事件；支持显示事件触发的相关指标折线图；支持在分析模式下基于图表新建事件
- 场景新增 4 类视图分类，分别为「日志视图」「事件视图」「链路视图」和「对象视图」，支持将日志、事件、链路、对象保存到对应的视图进行查询分析
- 新增标签的关联分析功能。支持针对标签查询相关指标、日志、对象、事件和链路
- 「指标浏览」更名为「指标」，新增平铺模式，支持同时查看多个指标折线图
- 「触发器」更名为「异常检测」，调整“基本检测”为“阈值检测”，“高级检测”为“自定义检测函数”，并新增事件检测、突变检测、区间检测、水位检测 4 种异常检测类型
- 删除「触发历史」模块，告警历史数据将直接保存至事件中
- 新增一个图表类型：日志流图，支持向视图中添加日志数据表
- 指标查询 UI 模式下，新增 influxdb 自带的转换函数
- 新增 5 个视图模板：etcd 监控视图、CoreDNS 监控视图、 Traefik 监控视图、Hadoop 监控视图、RaspberryPi（树莓派）监控视图
- 其他优化调整
- 优化导航菜单收起/展开样式
- 集成页面新增是否已验证标示，包含「已验证」和「Bate」两种状态
- 优化衍生节点的排序方式，默认按照节点名称首字母升序展示
- 优化若干界面的 UI 设计，新增视图图表 hover 显示效果
- SaaS 版用户注册新增企业/团队信息
DataFlux Admin Console¶
- 调整 DataWay 网关使用逻辑，DataWay 安装移至管理后台，所有空间成员均可使用
- 支持设置不同类型的数据保留时长
DataKit¶
- DataKit 新增 15 个数据源：Containerd 、GitLab、Yarn、Harbor、Tailf、Rsyslog 、Jira 、AWS CloudWatch Log、、RaspberryPi（树莓派）、Go 运行时指标、Neo4j 监控指标、目录监控指标、阿里云安全指标、百度指数以及主机对象数据采集
- DataKit 支持通过 Zipkin 和 Jaeger 采集链路追踪的数据
- 调整了 DataKit 安装命令，DataKit 安装支持更多的平台，同时支持离线安装
- 调整了 DataKit 相关配置，部分采集器有一些字段上的调整，不建议 copy 原 conf.d 目录到新的采集器中
- 整理了 DataKit 配置文件目录结构和默认安装路径
DataWay¶
- DataWay 新增写入日志数据、对象数据的接口同时调整了事件数据的写入接口
2020 年 5 月 7 号¶
DataFlux Studio¶
- 图表新增散点图，可展示数据的分布情况
- 指标浏览中 “指标集” 新增 「配置自动聚合规则」 功能，支持按照设定的聚合规则对采集的指标自动降精度
- 移除视图中的数据集模式，优化了指标浏览的交互，并在浏览指标时新增了表格模式查看
- 优化集成组件的展示效果
- 修复登录后在一段时间后会自动登出的 bug 以及新建查询时某些情况下标签过滤条件未保存的 bug 和其他若干 bug，提高了产品可用性
DataFlux Admin Console¶
- 工作空间新增数据仓库配置，可配置指定的的指标集将数据同步到数据仓库中
- 工作空间支持配置开启和关闭指标集自动聚合功能
DataFlux f(x)¶
- 《DataFlux.f(x)包学包会》更新到最新版
- 授权链接GET方式访问支持扁平形式（?kwargs_key=value）和简化形式（?key=value）
2020 年 4 月 29 号¶
数据采集¶
- DataKit 新增 6 个数据源：Oracle 监控指标、CoreDNS、uWSGI、Traefik、Solr以及 阿里云 RDS 慢查询日志。新增对 Express 项目的监控指标采集
- 新增四个视图模板，：自建MySQL监控、阿里云云数据库PolarDB MySQL监控、阿里云云数据库PolarDB PostgreSQL监控、和 阿里云云数据库RDS for PostgreSQL监控；优化了两个视图模板：MySQL监控、PostgreSQL监控
2020 年 4 月 21 号¶
DataFlux Studio¶
- 新增一个图表类型：自定义图表，支持基于自定义的背景图片绘制图表
- 基础图表中新增“自动对齐时间间隔”功能。系统根据选择的时间范围和聚合时间计算出时间间隔后，将按照预设的自动对齐时间间隔（ 包含 1分钟、5分钟、10分钟、30分钟、1小时等 10 种时间间隔）就近向上动态的调整查询
- 图表新增自适应视图窗口功能。当视图中仅存在一个图表时，支持选择「铺满视图」使图表一键自适应整个视图窗口
- 添加节点时，衍生节点支持指定指标集和节点图标
- 调整了左侧导航栏的分类及名称
- 基本设置中支持查看当前工作空间的版本；
- 调整了 SAAS 版本的数据网关界面
- 修复若干 bug，提高了系统稳定性
DataKit（v1.0.0-109-g13b2ced）¶
- 新增 timezone、StatsD、SSH、lighttpd、etcd、以及 阿里云询价 六个数据源的数据采集支持
- 支持 CentOS 6.7 及 Ubuntu 14.04 以上操作系统
- DataKit 支持级联以及 Lua 脚本清洗
2020 年 4 月 14 号¶
DataFlux Studio¶
- DataFlux 线上新增产品版本限制，所有新增的工作空间默认为体验版（时间线500条、数据保留时长1天、触发规则数1个、触发规则有效期7天 ）
- 重构和优化了触发器的底层逻辑；同时触发规则支持自定义数据断档告警的消息内容，新增高级检测功能，支持在 DataFlux f（x）平台自主开发高级检测函数
- 优化了图表的加载速度以及 SQL 的查询
- 修复了图表别名及颜色显示出错的问题
- 修复了指标集不能删除的问题
- 修复了指标集中名称中如果存在英文点号数据无法查询的问题
DataFlux Admin Console¶
- 调整“添加工作空间”逻辑，删除“选择已有数据库”和“设置数据权限”的功能，所有新建工作空间均“自动创建新数据库”
- 新建工作空间支持设置“数据保留时长”和“触发历史保留时长”
DataFlux.f(x)¶
- 增加官方脚本库在线更新功能，官方脚本不再需要导出后导入
- 官方脚本库增加简单检测支持（需要安装最新版官方库）
- 编辑器使用严格等宽字体，保证1个中文等于2个英文宽度
- 修复了已知问题并提高了系统稳定性
DataWay（V1.0.1-401-ga917b59）¶
- Lua 模块中 MongoDB/Redis/MySQL 增加连接池功能（默认启用）
- 移除对 $flow_ 、 $alert 等指标的正确性验证
- DataWay 增加数据上报安全认证机制，所有已部署的 DataWay 都必须进行升级，否则无法继续使用
2020 年 4 月 3 号¶
- 折线图、柱状图、饼图的图表「设置」中支持设置颜色，且支持分组后针对不多分组设置颜色
- 图表设置中支持自定义指标单位
- 修复 safari 兼容性问题
- 优化侧边导航栏
2020 年 3 月 31 号¶
DataFlux Studio¶
- 帮助中心新增搜索功能，支持快速定位目标关键词
- 场景节点新增分享功能，支持查看分享历史、编辑分享、取消分享和查看分享二维码。
- 场景节点新增搜索功能，支持查看搜索历史
- 调整基线功能，将原「查询」和「异常检测」中的“基线”移至“折线图”和“柱状图”的设置中
- 「指标浏览」中支持查看指标集的 “数据类型”
- 针对 IT 运维场景新增 37 个视图模板
- 调整图表查询规则及 UI 样式，支持一个指标集选择多个 field ，支持聚合函数嵌套使用;
- 优化场景节点树，记录展开状态的选择状态；修复了选中问题
- 优化左侧导航栏，支持收缩显示，增加图表可视化面积
- 优化了指标查询中“自定义SQL”功能，支持返回点数限制和时间限制
- 优化界面中 tag key，tag value，measurement、fieldkey 查询慢的问题
DataFlux Mobile¶
- 新增“服务协议”确认功能，同意后才可使用 APP
- 新增节点导入功能，支持直接查看节点图表
数据采集¶
- 新增 PostgreSQL、MongoDB、网络旁路抓包（pcap）以及 阿里云 CDN 四个数据源的数据采集支持
2020 年 3 月 16 号¶
DataFlux Studio¶
- 支持用户退出工作空间；支持管理员解散工作空间
- 图表分析模式下，折线图支持调整查询条件；支持关键事件按时间聚合展示；支持关键事件列表展示
- 新增概览图、折线图、柱状图同期对比功能
- 新增两个图表类型：中国地图、世界地图
- 新建图表中，别名支持格式化展示，包含“只显示分组名”、“只显示指标名”等
- 新建子节点时允许不继承父节点标签筛选
- 支持锁定图表的时间范围，不受全局时间范围的限制
- 优化表格图，支持查询方式按分组显示
- DataFlux 现支持 Warehouse 功能
- 修复饼图，表格图聚合模式，仪表盘，柱状图分组模式下查询的数据不正确的问题
- 优化集成组件的筛选方式
- 修复触发规则有时不产生触发历史的 bug
DataFlux Admin Console¶
- 添加工作空间支持“自动创建新数据库”和“选择已有数据库”两种方式
- 优化默认工作空间的名称，统一为【用户名】的工作空间
DataFlux.f(x)¶
- 「简易调试面板」现已支持内置 DataWay 浏览工作空间列表
- 「脚本列表」新增「快速查看面板」，可在编辑脚本时同时查看另一个脚本代码
- 「DataWay 操作对象」现已支持指定 Token 进行数据写入
- 「脚本编辑器」不再允许多个窗口编辑同一个脚本
- 「@DFF.API」现已支持 cagetory='check' 选项，用于标示检测类函数
- 修复已知问题并提高了系统稳定性
数据采集¶
- 新增 5 个 DataWay API：
/v1/config、/v1/reload、/v1/lua、/v1/lua/list、/v1/license； - 优化
/v1/write/metricsAPI 功能 - DataWay 升级，现已支持合并新老配置文件。包含
remote_host、collect_second、lua_worker、access_key、secret_key等可以通过命令行传入的参数 - DataWay 安装新增两个参数支持：DW_ ENABLE_ CONFIG_ API 和 DW_ CONFIG_ PASSWORD，分别为允许开启 config API 及设置 config API 密码。一但开启 config API，如果没有指定密码，安装将失败。
- 调整 DataWay Cache 清理行为：限制单次清理数量，提高清理频率
- DataWay Lua 脚本相关
- 所有 Lua 文件统一放在 < DataWay-安装目录 >/lua 下，旧版本所有 Lua 配置需手动移至此目录下，必要情况下需更改路由配置
- 不再支持绝对路径的 Lua 配置，若在旧版本已进行了配置，需手动做处理
- DataKit 允许通过 X-Token 头指定 token 向公共 DataWay 传送数据
2020 年 3 月 13 号¶
数据采集¶
- 新增 DataWay Android SDK、DataWay iOS SDK、DataWay Python SDK、DataWay Javascript SDK
2020 年 3 月 11 号¶
数据采集¶
- DataKit（
v1.0.0-44-gaa4a656） 数据源新增支持 Azure Monitor、Zabbix、Promethues Exporter、NSQ 监控指标、网络端口扫描、Kubernetes 监控数据、Github 及 Java 中间件（Cassandra、Hadoop-HDFS、Java JVM、JBoss、Kafka、Tomcat、Weblogic、BitBucket）监控数据采集 - DataWay 新增对 Logstash、Promethues 数据采集器的支持
- 发布 CSV 数据采集器
- 新增对 Oracle 数据采集支持
2020 年 3 月 5 号¶
DataFlux Studio¶
- 指标集支持删除
DataFlux Admin Console¶
- 后台添加管理员帐号和成员帐号增加密码强度要求
2020 年 2 月 28 号¶
DataFlux Studio¶
- 图表查询新增自定义函数模式，支持使用 DataFlux.f(x) 开发自定义查询函数
- 视图变量新增排序功能，在创建和修改视图变量时支持对变量值进行排序和预览
- 优化 SQL 模式模式，支持 UI 模式直接映射 SQL 模式，增加执行按钮和错误提示反馈
- 优化图表查询下函数的交互体验，增加函数说明的提示
- 优化概览图的取值方式，支持选择聚合算法
- 修复表格图表存在 null 数据界面不显示的问题
- 修复柱状图 top 设置排序不对的问题
DataFlux Admin Console¶
- 管理后台账号新增角色功能，分为管理员和开发者角色，开发者只能登录 DataFlux.f(x) 平台
DataFlux.f(x)¶
- 新增数据源结构浏览器
- 代码编辑器可切换查看已发布，编辑中，DIFF
- UI/API增强异步调用支持
- 增加查询函数支持（category=query）
- 更新内置官方脚本包
- 修复已知问题并提高系统稳定性
数据采集¶
- DataKit 新增阿里云日志服务（SLS）数据采集、阿里云操作审计（ActionTrail）数据采集、Kafka Consumer 数据采集、路由追踪指标采集、Kubernetes 监控指标、Kube Inventory 监控指标采集、HTTP 性能指标采集
- 新增 Oracle 数据采集
- DataWay 兼容 DataX 数据同步工具
2020 年 2 月 20 号¶
DataFlux Studio¶
- 新增命令组件，图表中支持命令组件的创建与设置
- 优化了图表添加的交互方式和图表的分类，包括基础图表和高级图表。
- 新增图表的 PNG 图片导出功能
- 概览图新增 maping 功能
- 集成新增场景分类筛选
- 添加、修改场景时，支持对场景数据范围的进行设置
- 优化了图表数据的显示，所有 float 类型数据保留两位小数
- 支持为节点添加自定义图标
- 触发规则中的触发动作，新增动作函数的触发
- 新增 DataFlux EBA Agent Builder，通过 DataFlux EBA Agent Builder 可打包生成针对企业行为分析场景的专用采集器
- 系统部署时支持通过配置 Continuous Query 规则对指标进行降精度设置
DataKit¶
- 新增支持对 agent 的配置
- 修复阿里云费用采集的相关 bug
- 优化采集和上报性能
2020 年 2 月 15 号¶
DataFlux Studio¶
- 修复视图偶尔白屏的问题
- 修复分析模式中预测函数无法输入自定义参数的问题
- 修复 SQL 模式下柱状图无法显示的问题
- 修复私有部署版本生成的场景二维码无法在移动端扫描添加的问题
- 修复表格图上一页和下一页不能点击、定时刷新后回到第一页、重复数据被屏蔽、分页后数据为空则不显示分页条的问题
DataFlux.f(x)¶
- 脚本编辑器添加只读模式，点击开始编辑才进入编辑
- 修复脚本函数返回非标准JSON时，API接口失败的问题
- 修复文案、展示问题，补充页面提示
2020 年 2 月 10 号¶
- 新增场景模板模板，创建场景支持基于模板创建，已创建的场景可导出为模板
- 场景支持分享功能，分享后可通过 DataFlux APP 或小程序在移动端查看
- 视图支持添加流程图、视频、实时视频流
- 新增图表组合功能，柱状图与折线图组合、概览图与折线图组合
- 图表查询的转换函数支持选择通过 DataFlux f(x) 开发的自定义转换函数
- 发布 DataFlux 移动端 APP，场景发布后支持在 APP 中扫码查看
- 柱状图支持 TopList 展示方式
- 优化视图显示页面，支持动态加载图表
- 优化 Dataway 管理界面的监控视图
- 发布了 DataWay API 文档和 SDK
- 指标集多 RP（数据保留策略） 支持
2020 年 1 月 10 号¶
- 新增 Telegraf 采集器配置文档
- DataKit 采集器新增支持
snmp、syslog、exec、varnish、NSQ Consumer采集源配置 - 优化查询的返回数据点太多时页面加载性能
- 优化字符串类型指标设置触发规则时的配置逻辑：去掉字符串不支持的聚合函数；优化字符串 count 聚合时的触发条件的设置
- 修复将场景钉到首页后跳转错误的问题
- 修复柱状图多个查询，显示错位的问题
- 修复新建查询时删除自定义表达式后查询数据断档的问题