日志¶
在现代 IT 基础设施中,系统每分钟可产生数以千计的日志事件。这些日志遵循特定格式,通常包含时间戳信息,并由服务器分别输出到系统日志、应用日志和安全日志等不同文件中。由于日志分散存储在各个服务器节点上,当系统发生故障时,运维人员需要分别登录多台服务器进行日志查阅,这一过程显著增加了故障排查的复杂性和时间成本。
面对海量日志数据,团队常常面临数据管理难题:
哪些日志应该实时发送到日志管理平台?
哪些可以存档处理?
如果在数据采集阶段进行过滤,可能会遗漏关键故障信息或误删有价值的数据,为后续的问题排查埋下隐患。
为解决这些挑战,构建集中化的日志管理平台至关重要。通过强大的日志采集功能,可以将分布式环境下的日志数据统一上报至工作空间,实现对日志的集中存储、审计监控、智能告警和深度分析。这种方式既避免了前置过滤可能导致的数据丢失风险,又能通过统一的检索界面和关联分析功能,大幅提升故障诊断效率。
观测云的日志功能正是基于这样的理念设计,它将原本孤立的日志数据转化为贯穿整个可观测性体系的“联结器”,使运维团队能够主动掌握系统状态,在紧急情况下快速定位问题根源,从而实现从被动应对到主动预防的运维模式转变。
开始使用¶
采集与集成¶
观测云通过 DataKit 采集器提供了灵活的日志采集方案,您可以根据自身环境选择合适的方式:
-
主机日志采集:在服务器上安装 DataKit 后,通过配置采集器指定日志文件路径,即可采集文本格式的日志文件;
-
K8s 环境采集:在 Kubernetes 集群中以 DaemonSet 方式部署 DataKit,可以自动采集容器标准输出(stdout/stderr)的日志;
-
接收第三方日志:支持通过 HTTP/S 或 TCP 协议接收来自 Fluentd、Logstash、Kafka 等工具的日志数据,兼容现有技术栈。
处理与解析¶
观测云通过 Pipeline 提供完整的日志处理能力:
-
结构化解析:使用 Grok 模式、正则表达式从原始日志文本中提取状态码、时间戳等关键字段;
-
数据标准化:将非结构化的日志文本转换为统一的标准化格式,为后续分析和查询奠定基础。
查询与分析¶
观测云借助日志查看器提供强大的查询分析功能:
-
支持基于字段的精准筛选查询和数据检索,可快速定位目标日志;
-
智能分析:通过聚类分析自动识别日志模式,通过可视化图表展示数据趋势;
-
问题排查:支持查看日志上下文信息,关联分析对应的链路和基础设施指标;
-
团队协作:提供数据快照功能,支持安全的团队协作和知识共享。
监控与告警¶
观测云提供智能的日志监控告警能力:
存储与归档¶
观测云提供完善的日志存储管理方案: