日志¶

在现代 IT 基础设施中，系统每分钟可产生数以千计的日志事件。这些日志遵循特定格式，通常包含时间戳信息，并由服务器分别输出到系统日志、应用日志和安全日志等不同文件中。由于日志分散存储在各个服务器节点上，当系统发生故障时，运维人员需要分别登录多台服务器进行日志查阅，这一过程显著增加了故障排查的复杂性和时间成本。

面对海量日志数据，团队常常面临数据管理难题：

哪些日志应该实时发送到日志管理平台？

哪些可以存档处理？

如果在数据采集阶段进行过滤，可能会遗漏关键故障信息或误删有价值的数据，为后续的问题排查埋下隐患。

为解决这些挑战，构建集中化的日志管理平台至关重要。通过强大的日志采集功能，可以将分布式环境下的日志数据统一上报至工作空间，实现对日志的集中存储、审计监控、智能告警和深度分析。这种方式既避免了前置过滤可能导致的数据丢失风险，又能通过统一的检索界面和关联分析功能，大幅提升故障诊断效率。

观测云的日志功能正是基于这样的理念设计，它将原本孤立的日志数据转化为贯穿整个可观测性体系的“联结器”，使运维团队能够主动掌握系统状态，在紧急情况下快速定位问题根源，从而实现从被动应对到主动预防的运维模式转变。

开始使用¶

采集与集成¶

观测云通过 DataKit 采集器提供了灵活的日志采集方案，您可以根据自身环境选择合适的方式：

• 主机日志采集：在服务器上安装 DataKit 后，通过配置采集器指定日志文件路径，即可采集文本格式的日志文件；

• K8s 环境采集：在 Kubernetes 集群中以 DaemonSet 方式部署 DataKit，可以自动采集容器标准输出（stdout/stderr）的日志；

• 接收第三方日志：支持通过 HTTP/S 或 TCP 协议接收来自 Fluentd、Logstash、Kafka 等工具的日志数据，兼容现有技术栈。

处理与解析¶

观测云通过 Pipeline 提供完整的日志处理能力：

• 结构化解析：使用 Grok 模式、正则表达式从原始日志文本中提取状态码、时间戳等关键字段；

• 数据标准化：将非结构化的日志文本转换为统一的标准化格式，为后续分析和查询奠定基础。

查询与分析¶

观测云借助日志查看器提供强大的查询分析功能：

• 支持基于字段的精准筛选查询和数据检索，可快速定位目标日志；

• 智能分析：通过聚类分析自动识别日志模式，通过可视化图表展示数据趋势；

• 问题排查：支持查看日志上下文信息，关联分析对应的链路和基础设施指标；

• 团队协作：提供数据快照功能，支持安全的团队协作和知识共享。

监控与告警¶

观测云提供智能的日志监控告警能力：

• 智能监控与告警：基于日志数据创建监控器，实现异常情况的实时检测与秒级告警通知，确保问题能够被及时发现和处理。

• 精细化成本治理：针对海量日志场景，支持在采集端通过黑名单过滤无效日志，在存储端通过多索引与分级存储策略优化存储成本。

安全与合规¶

观测云提供完善的日志数据安全管控方案：

• 访问控制：通过数据访问功能，基于成员角色配置数据查询范围，实现细粒度的权限管控。

• 敏感数据处理：通过字段展示权限（敏感数据脱敏）功能，对日志中的敏感信息（如身份证号、密钥、Token 等）进行脱敏处理，确保数据合规。

存储与归档¶

观测云提供完善的日志存储管理方案：

• 多索引管理：支持创建多个日志索引，根据日志来源、业务属性等维度将数据分流到不同索引，并为各索引配置差异化的存储策略。

• 数据转发归档：支持将日志数据长期归档到观测云对象存储，或实时转发到外部存储系统，以满足数据备份、审计或进一步处理的需求。

快速开始¶

根据您的使用阶段，选择对应的操作路径：