2.5 监控与日志 (Monitoring and Logging)

2.5 监控与日志：DevOps 系统可观测性的核心支柱

在现代 DevOps 实践中，监控与日志共同构成系统可观测性（Observability）的三大支柱之一（另两者为追踪与指标），是保障服务稳定性、加速故障定位、驱动持续优化的关键能力。有效的监控不仅反映系统“是否在运行”，更揭示其“运行得如何”；高质量的日志则提供可追溯、可关联、可审计的行为证据链。二者协同，使团队从被动救火转向主动治理，支撑高频率、低风险的持续交付。

一、核心概念：监控与日志的本质区别与协同价值

1. 监控（Monitoring）

监控是对系统状态与行为的结构化、时序化、可聚合的度量采集与分析过程。其核心目标是通过预定义指标（Metrics）识别异常趋势、验证 SLO 达成情况，并触发自动化响应。

• 关键特征：

  • 维度化：指标携带标签（如 service=api, env=prod, status=5xx），支持多维下钻分析；
  • 聚合友好：天然支持求和、平均、分位数（P90/P95）等统计运算；
  • 低存储开销：仅存储聚合后的数值，而非原始事件。

• 主流分类：

  类型	聚焦层级	典型指标示例
  基础设施监控	主机/网络/容器	CPU 使用率、内存占用、磁盘 IOPS、网络丢包率、容器重启次数
  应用性能监控（APM）	服务/事务/依赖	HTTP 请求延迟（P95）、错误率（%）、吞吐量（RPS）、数据库查询耗时、外部 API 调用成功率
  业务监控	用户/商业逻辑	订单创建成功率、支付转化率、搜索响应时间、会话留存率

2. 日志（Logging）

日志是对系统运行过程中离散事件的不可变、高保真文本记录，是诊断未知问题、复现用户路径、满足合规审计的核心依据。

• 关键特征：
  • 上下文丰富：单条日志可包含时间戳、服务名、线程ID、请求ID（TraceID）、用户ID、操作详情、堆栈信息等；
  • 不可变性：一旦写入，内容不可修改，保障审计可信度；
  • 非结构化起点，结构化处理：原始为文本，需通过解析（如 JSON 解析、正则提取）转化为结构化字段以支持高效查询。

监控与日志的协同范式：

• 监控发现“什么出了问题”（如 api-service 延迟 P95 > 2s）；
• 日志回答“为什么出问题”（通过 TraceID 关联慢请求日志，定位到具体 SQL 超时及数据库连接池耗尽）；
• 二者结合实现“根因定位闭环”——监控触发告警，日志提供深度诊断线索，追踪（Tracing）串联全链路。

二、主流工具链：选型原则与典型架构

1. 监控工具生态

2. 日志管理工具链

架构演进趋势：

• 从 ELK 向 EFK（Elasticsearch + Fluentd + Kibana）或 Loki 栈迁移，提升云原生适配性与成本效益；
• 监控与日志平台融合：如 Datadog、Grafana Cloud 提供统一界面，支持跨数据源（Metrics/Logs/Traces）关联查询；
• OpenTelemetry（OTel）成为事实标准：统一采集 SDK 与协议，解耦应用埋点与后端存储，实现厂商中立。

三、代码实践：可落地、可维护、可扩展的实现方案

1. 应用指标暴露（Prometheus Java 客户端）

以下代码实现生产就绪的指标注册与暴露，避免常见陷阱（如静态变量泄漏、未关闭 HTTPServer）：

import io.prometheus.client.CollectorRegistry;
import io.prometheus.client.Counter;
import io.prometheus.client.Gauge;
import io.prometheus.client.exporter.HTTPServer;
import io.prometheus.client.hotspot.DefaultExports;

public class ApplicationMetrics {
    // 使用独立 Registry 避免与默认 Registry 冲突
    private static final CollectorRegistry registry = new CollectorRegistry();
    
    // 业务请求计数器（带标签，支持按 endpoint、status 维度聚合）
    static final Counter httpRequests = Counter.build()
        .name("http_requests_total")
        .help("Total HTTP requests.")
        .labelNames("endpoint", "status")
        .register(registry);
    
    // JVM 内存使用量（Gauge 类型，可增可减）
    static final Gauge jvmMemoryUsed = Gauge.build()
        .name("jvm_memory_used_bytes")
        .help("JVM memory used in bytes.")
        .labelNames("area") // area: heap, nonheap
        .register(registry);
    
    public static void main(String[] args) throws Exception {
        // 自动导出 JVM 基础指标（GC、线程、内存池等）
        DefaultExports.initialize();
        
        // 启动 Prometheus 指标暴露端点（/metrics）
        HTTPServer server = new HTTPServer(9090, registry);
        
        // 模拟业务逻辑：记录带标签的请求指标
        while (true) {
            // 模拟成功请求
            httpRequests.labels("/api/users", "200").inc();
            
            // 模拟错误请求
            httpRequests.labels("/api/orders", "500").inc();
            
            // 更新 JVM 内存指标（示例：获取堆内存使用）
            long heapUsed = Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
            jvmMemoryUsed.labels("heap").set(heapUsed);
            
            Thread.sleep(5000);
        }
    }
}
​

2. 结构化日志记录（SLF4J + Logback + MDC）

通过 MDC（Mapped Diagnostic Context）注入请求上下文，实现日志可追溯性：

<!-- logback-spring.xml -->
<configuration>
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <!-- 输出 JSON 格式，便于日志系统解析 -->
            <pattern>
                {
                    "timestamp": "%d{ISO8601}",
                    "level": "%level",
                    "thread": "%thread",
                    "service": "user-service",
                    "traceId": "%X{traceId:-}",
                    "spanId": "%X{spanId:-}",
                    "requestId": "%X{requestId:-}",
                    "userId": "%X{userId:-}",
                    "message": "%msg",
                    "exception": "%ex"
                }
            </pattern>
        </encoder>
    </appender>
    
    <!-- 生产环境建议使用异步 Appender 提升性能 -->
    <appender name="ASYNC_CONSOLE" class="ch.qos.logback.classic.AsyncAppender">
        <appender-ref ref="CONSOLE"/>
    </appender>
    
    <root level="INFO">
        <appender-ref ref="ASYNC_CONSOLE"/>
    </root>
</configuration>
​

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import java.util.UUID;

public class UserService {
    private static final Logger logger = LoggerFactory.getLogger(UserService.class);
    
    public void createUser(String username, String email) {
        // 生成唯一请求 ID，注入 MDC
        String requestId = UUID.randomUUID().toString();
        MDC.put("requestId", requestId);
        MDC.put("userId", "user-123"); // 业务上下文
        
        try {
            logger.info("Creating user: username={}, email={}", username, email);
            
            // 模拟业务逻辑
            if (email == null || email.isEmpty()) {
                throw new IllegalArgumentException("Email cannot be empty");
            }
            
            logger.info("User created successfully: username={}", username);
        } catch (Exception e) {
            // 自动捕获异常堆栈，MDC 上下文自动附加
            logger.error("Failed to create user: username={}", username, e);
            throw e;
        } finally {
            // 清理 MDC，避免线程复用导致污染
            MDC.clear();
        }
    }
}
​

3. 健康检查接口（Spring Boot Actuator 增强版）

实现多维度健康检查，支持 Liveness（存活）与 Readiness（就绪）探针：

import org.springframework.boot.actuate.health.*;
import org.springframework.stereotype.Component;

@Component
public class CompositeHealthIndicator implements HealthIndicator {
    
    @Override
    public Health health() {
        Health.Builder builder = Health.up();
        
        // 检查数据库连接
        if (!checkDatabaseConnection()) {
            builder.down().withDetail("database", "Connection failed");
        }
        
        // 检查外部依赖（如 Redis）
        if (!checkRedisConnection()) {
            builder.down().withDetail("redis", "Unreachable");
        }
        
        // 检查内部状态（如缓存加载完成）
        if (!isCacheReady()) {
            builder.outOfService().withDetail("cache", "Not ready");
        }
        
        // 检查磁盘空间（阈值：剩余 < 10%）
        long freeSpace = getFreeDiskSpace();
        long totalSpace = getTotalDiskSpace();
        if (freeSpace * 100L / totalSpace < 10) {
            builder.outOfService().withDetail("disk", "Free space below 10%");
        }
        
        return builder.build();
    }
    
    // 省略具体检查方法实现...
}
​

4. 分布式日志采集（Fluent Bit + Loki 配置）

替代 Logstash 的轻量级方案，适用于 Kubernetes：

# fluent-bit.conf
[SERVICE]
    Flush        1
    Log_Level    info
    Daemon       Off
    Parsers_File parsers.conf

[INPUT]
    Name              tail
    Path              /var/log/containers/*.log
    Parser            docker
    Tag               kube.*
    Refresh_Interval  5
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On

[FILTER]
    Name                kubernetes
    Match               kube.*
    Merge_Log           On
    Keep_Log            Off
    K8S-Logging.Parser  On
    K8S-Logging.Exclude On

[OUTPUT]
    Name            loki
    Match           *
    Host            loki:3100
    Port            80
    Labels          job=fluent-bit
    LabelKeys       namespace_name,pod_name,container_name
    Auto_Kubernetes_labels On
​

四、最佳实践：从部署到治理的完整闭环

五、总结：构建可持续演进的可观测性体系

监控与日志绝非一次性配置任务，而是需要持续投入、与架构演进同步的工程能力。成功的实践始于明确目标：以用户为中心定义 SLO，以问题为驱动设计指标，以追溯为原则规范日志。选择工具时，应优先考虑云原生兼容性、社区活跃度与长期维护成本，而非单纯功能堆砌。代码实现必须遵循生产就绪原则——指标可聚合、日志可追溯、健康检查可编排。最终，通过将可观测性深度融入 CI/CD 流水线（如：发布前验证 SLO、日志格式合规扫描）、建立跨职能的 SLO 共同体（开发、运维、产品共同定义与守护），才能真正将监控与日志转化为驱动业务韧性与交付效能的核心引擎。