跳转至

日志


在现代 IT 基础设施中,系统每分钟可产生数以千计的日志事件。这些日志遵循特定格式,通常包含时间戳信息,并由服务器分别输出到系统日志、应用日志和安全日志等不同文件中。由于日志分散存储在各个服务器节点上,当系统发生故障时,运维人员需要分别登录多台服务器进行日志查阅,这一过程显著增加了故障排查的复杂性和时间成本。

面对海量日志数据,团队常常面临数据管理难题:

哪些日志应该实时发送到日志管理平台?

哪些可以存档处理?

如果在数据采集阶段进行过滤,可能会遗漏关键故障信息或误删有价值的数据,为后续的问题排查埋下隐患。

为解决这些挑战,构建集中化的日志管理平台至关重要。通过强大的日志采集功能,可以将分布式环境下的日志数据统一上报至工作空间,实现对日志的集中存储、审计监控、智能告警和深度分析。这种方式既避免了前置过滤可能导致的数据丢失风险,又能通过统一的检索界面和关联分析功能,大幅提升故障诊断效率。

观测云的日志功能正是基于这样的理念设计,它将原本孤立的日志数据转化为贯穿整个可观测性体系的“联结器”,使运维团队能够主动掌握系统状态,在紧急情况下快速定位问题根源,从而实现从被动应对到主动预防的运维模式转变。

开始使用

采集与集成

观测云通过 DataKit 采集器提供了灵活的日志采集方案,您可以根据自身环境选择合适的方式:

  • 主机日志采集:在服务器上安装 DataKit 后,通过配置采集器指定日志文件路径,即可采集文本格式的日志文件;

  • K8s 环境采集:在 Kubernetes 集群中以 DaemonSet 方式部署 DataKit,可以自动采集容器标准输出(stdout/stderr)的日志;

  • 接收第三方日志:支持通过 HTTP/S 或 TCP 协议接收来自 Fluentd、Logstash、Kafka 等工具的日志数据,兼容现有技术栈。

处理与解析

观测云通过 Pipeline 提供完整的日志处理能力:

  • 结构化解析:使用 Grok 模式、正则表达式从原始日志文本中提取状态码、时间戳等关键字段;

  • 数据标准化:将非结构化的日志文本转换为统一的标准化格式,为后续分析和查询奠定基础。

查询与分析

观测云借助日志查看器提供强大的查询分析功能:

  • 支持基于字段的精准筛选查询和数据检索,可快速定位目标日志;

  • 智能分析:通过聚类分析自动识别日志模式,通过可视化图表展示数据趋势;

  • 问题排查:支持查看日志上下文信息,关联分析对应的链路和基础设施指标;

  • 团队协作:提供数据快照功能,支持安全的团队协作和知识共享。

监控与告警

观测云提供智能的日志监控告警能力:

  • 智能监控与告警:基于日志数据创建监控器,实现异常情况的实时检测与秒级告警通知,确保问题能够被及时发现和处理。

  • 精细化成本治理:针对海量日志场景,支持在采集端通过黑名单过滤无效日志,在存储端通过多索引与分级存储策略优化存储成本。

存储与归档

观测云提供完善的日志存储管理方案:

  • 权限与安全:通过数据访问功能,可以为不同角色配置其有权访问的日志数据范围。同时,利用敏感数据扫描功能,可以主动发现日志中的敏感信息(如身份证号、密钥)并进行处理,确保数据合规。

  • 数据转发归档:支持将日志数据长期归档到观测云对象存储,或实时转发到外部存储系统,以满足数据备份、审计或进一步处理的需求。

文档评价

文档内容是否对您有帮助? ×