6.2 Tomcat 监控

6.2 Tomcat 监控

第六章：Tomcat 性能调优与监控

6.2 Tomcat 监控

Tomcat 监控是 Tomcat 性能调优和保障应用稳定运行不可或缺的一环。通过有效的监控，我们可以实时了解 Tomcat 服务器的运行状态，及时发现潜在的性能瓶颈和错误，并采取相应的措施进行优化和修复，从而确保 Web 应用的高效、稳定运行。

6.2.1 监控的重要性

在深入探讨具体监控方法之前，我们首先需要理解 Tomcat 监控的重要性。监控不仅仅是查看一些数据，更是一种主动运维和性能优化的手段。有效的监控能够帮助我们：

• 性能瓶颈识别: 通过监控各项性能指标，例如 CPU 使用率、内存占用、线程池状态、请求处理时间等，可以快速定位系统瓶颈，例如是 CPU 密集型操作导致 CPU 瓶颈，还是内存泄漏导致内存溢出，亦或是线程池配置不合理导致请求堆积。

• 故障预警与快速定位: 监控系统可以设置阈值告警，当某些关键指标超过预设阈值时，及时发出告警通知运维人员。这使得我们能够在问题发生初期就及时介入，避免小问题演变成重大故障，并加速故障定位和恢复过程。

• 容量规划与资源优化: 通过长期监控 Tomcat 的运行数据，我们可以了解应用的资源使用趋势，例如请求量高峰期、资源消耗峰值等。这些数据可以帮助我们进行容量规划，合理分配服务器资源，避免资源浪费或资源不足的情况发生。

• 性能调优效果评估: 在进行 Tomcat 性能调优后，监控系统可以帮助我们评估调优效果。通过对比调优前后的监控数据，可以直观地看到性能提升的幅度，并验证调优方案的有效性。

• 保障应用稳定性与用户体验: 最终目标是通过监控和优化，保障 Web 应用的稳定运行，减少错误率和响应延迟，提升用户体验。

总而言之，Tomcat 监控是构建健壮、高性能 Web 应用的关键环节，是运维人员的必备技能。

6.2.2 监控指标详解

Tomcat 监控涉及多个层面的指标，我们可以将其大致分为以下几类：

1. JVM 层面监控指标

Tomcat 本身运行在 JVM 之上，JVM 的健康状况直接影响 Tomcat 的性能。因此，JVM 层面的监控至关重要。

• 内存使用情况 (Memory Usage):

  • 堆内存 (Heap Memory): Java 堆是 JVM 中用于存放对象实例的区域，也是垃圾回收的主要区域。监控堆内存的使用情况，包括已使用空间、剩余空间、最大空间、以及各个内存代 (Young Generation, Old Generation, PermGen/Metaspace) 的使用情况，可以帮助我们了解内存分配和垃圾回收的压力。

  • 非堆内存 (Non-Heap Memory): 非堆内存包括方法区 (Method Area/Metaspace)、永久代 (PermGen, JDK 8 之后被 Metaspace 取代)、代码缓存 (Code Cache) 等区域，用于存放类信息、元数据、JIT 编译后的代码等。监控非堆内存的使用情况可以帮助我们发现类加载器泄漏、元数据空间不足等问题。

  • 内存池 (Memory Pools): JVM 将堆内存和非堆内存进一步划分为多个内存池，例如 Eden Space, Survivor Space (S0, S1), Old Gen, Metaspace 等。监控各个内存池的使用情况可以更精细地了解内存分配和垃圾回收的细节。

• 垃圾回收 (Garbage Collection - GC):

  • GC 次数 (GC Count): 统计不同类型的垃圾回收 (例如 Minor GC, Major GC/Full GC) 的次数。过多的 GC 次数会消耗 CPU 资源，影响应用性能。

  • GC 耗时 (GC Time): 记录每次垃圾回收的耗时。长时间的 GC 停顿 (Stop-The-World, STW) 会导致应用响应延迟甚至卡顿。

  • GC 吞吐量 (GC Throughput): 衡量垃圾回收效率的指标，表示应用运行时间与 GC 耗时之比。高吞吐量意味着垃圾回收效率较高，应用性能受 GC 影响较小。

• 线程 (Threads):

  • 线程总数 (Thread Count): 当前 JVM 中活跃的线程总数。

  • 线程状态 (Thread State): 监控线程的不同状态，例如 RUNNABLE, BLOCKED, WAITING, TIMED_WAITING 等。大量的 BLOCKED 或 WAITING 线程可能意味着线程池配置不合理或存在线程死锁等问题。

  • 线程池 (Thread Pools): 对于使用线程池的应用，需要监控线程池的各项指标，例如活跃线程数、空闲线程数、任务队列长度、拒绝任务数等。

• 类加载 (Class Loading):

  • 已加载类 (Loaded Classes): JVM 已加载的类数量。

  • 已卸载类 (Unloaded Classes): JVM 已卸载的类数量。

  • 类加载耗时 (Class Loading Time): 类加载过程的耗时。

• JIT 编译 (Just-In-Time Compilation):

  • 编译次数 (Compilation Count): JIT 编译器执行编译的次数。

  • 编译耗时 (Compilation Time): JIT 编译的总耗时。

2. Tomcat 服务器层面监控指标

Tomcat 服务器层面的监控指标反映了 Tomcat 自身的运行状态和处理请求的能力。

• 请求处理 (Request Processing):

  • 请求数 (Request Count): Tomcat 服务器接收到的请求总数，可以进一步细分为 HTTP 请求数、WebSocket 请求数等。

  • 活跃请求数 (Active Request Count): 当前正在被 Tomcat 处理的请求数。

  • 请求处理时间 (Request Processing Time): 请求从被 Tomcat 接收到响应返回的平均处理时间、最大处理时间、90 分位、99 分位等。请求处理时间是衡量 Tomcat 性能的关键指标。

  • 请求吞吐量 (Request Throughput): Tomcat 每秒处理的请求数 (Requests Per Second, RPS)。

  • 错误率 (Error Rate): 请求处理过程中发生错误的比例，例如 HTTP 5xx 错误。

• 连接器 (Connectors):

  • 连接数 (Connection Count): Tomcat 当前建立的连接数，可以细分为 HTTP 连接数、AJP 连接数等。

  • 活跃连接数 (Active Connection Count): 当前正在被 Tomcat 处理请求的连接数。

  • 连接器状态 (Connector State): 监控连接器的状态，例如 STARTING, STARTED, STOPPING, STOPPED 等。

  • 线程池 (Connector Thread Pool): 连接器使用的线程池 (例如 Tomcat 的 Connector 使用的 Executor)。监控线程池的各项指标，例如活跃线程数、空闲线程数、任务队列长度等。

• 会话管理 (Session Management):

  • 活跃会话数 (Active Session Count): 当前 Tomcat 服务器中活跃的 HTTP 会话数量。

  • 会话创建数 (Session Creation Count): Tomcat 创建的会话总数。

  • 会话失效数 (Session Expiration Count): Tomcat 失效的会话总数。

  • 会话平均存活时间 (Average Session Lifetime): 会话的平均存活时间。

• Servlet 和 JSP:

  • Servlet 请求处理时间 (Servlet Processing Time): 单个 Servlet 处理请求的平均时间、最大时间等。

  • JSP 编译时间 (JSP Compilation Time): JSP 页面编译成 Servlet 的耗时。

  • Servlet 错误率 (Servlet Error Rate): Servlet 执行过程中发生错误的比例。

• 资源 (Resources):

  • CPU 使用率 (CPU Usage): Tomcat 进程的 CPU 使用率。

  • 内存占用 (Memory Footprint): Tomcat 进程的内存占用量。

  • 磁盘 I/O (Disk I/O): Tomcat 进程的磁盘读写操作情况。

  • 网络 I/O (Network I/O): Tomcat 进程的网络流量情况。

3. Web 应用层面监控指标 (可选)

除了 JVM 和 Tomcat 服务器层面的监控，对于一些复杂的 Web 应用，可能还需要监控应用自身的业务指标，例如：

• 业务请求处理时间: 特定业务接口的请求处理时间。

• 数据库连接池状态: 数据库连接池的活跃连接数、空闲连接数、等待连接数等。

• 缓存命中率: 缓存系统的命中率。

• 业务错误率: 业务逻辑层面的错误率。

Web 应用层面的监控指标通常需要通过应用代码埋点或使用 APM (Application Performance Management) 工具来实现，不在本章节的 Tomcat 监控范畴内深入讨论。

6.2.3 Tomcat 监控方法与工具

Tomcat 提供了多种监控方法和工具，可以满足不同场景下的监控需求。

1. Tomcat Manager 应用

Tomcat 自带了一个名为 "Manager" 的 Web 应用，提供了基本的服务器状态监控和管理功能。

• 访问方式: 默认情况下，Manager 应用可以通过 http://<Tomcat服务器IP>:<端口>/manager/status 或 http://<Tomcat服务器IP>:<端口>/manager/html 访问 (需要配置 Manager 应用的访问权限)。

• 监控功能:

  • 服务器信息: 显示 Tomcat 版本、JVM 版本、操作系统信息等。

  • JVM 内存信息: 显示堆内存、非堆内存的使用情况。

  • 线程信息: 显示当前活跃线程数、线程状态等。

  • 请求处理信息: 显示请求数、错误数、平均处理时间等。

  • Servlet 信息: 显示已部署的 Servlet 和 JSP 的信息，以及请求处理统计数据。

  • 会话信息: 显示活跃会话数、会话创建数等。

  • 数据源 (DataSources) 信息: 显示已配置的数据源的连接池状态。

  • JNDI 信息: 显示 JNDI 资源信息。

代码实践:

1. 启用 Manager 应用: 默认情况下，Manager 应用可能未启用。需要在 conf/server.xml 文件中取消注释 <Valve className="org.apache.catalina.valves.RemoteAddrValve" ... /> 和 <Context path="/manager" ... /> 部分的注释。

2. 配置 Manager 应用访问权限: 编辑 conf/tomcat-users.xml 文件，添加具有 manager-gui 或 manager-script 角色的用户，并设置用户名和密码。例如：

<tomcat-users>
  <role rolename="manager-gui"/>
  <role rolename="manager-script"/>
  <user username="manager" password="password" roles="manager-gui,manager-script"/>
</tomcat-users>
​

3. 访问 Manager 应用: 在浏览器中输入 http://<Tomcat服务器IP>:<端口>/manager/html，使用配置的用户名和密码登录。

内容详解:

Tomcat Manager 应用提供了一个简单的 Web 界面，可以直观地查看 Tomcat 的运行状态。它适用于快速了解服务器概况和进行简单的监控。但是，Manager 应用的功能相对有限，无法提供更深入的性能分析和告警功能。

2. JMX (Java Management Extensions)

JMX 是 Java 平台提供的标准管理和监控框架。Tomcat 通过 JMX 暴露了大量的 MBeans (Managed Beans)，这些 MBeans 包含了 Tomcat 运行时的各种信息，例如连接器状态、线程池状态、Servlet 信息、JVM 内存信息等。我们可以通过 JMX 客户端连接到 Tomcat 服务器，获取这些 MBeans 的属性值，从而实现对 Tomcat 的监控。

监控流程:

代码实践:

1. 启用 JMX 远程连接 (可选): 默认情况下，JMX 只允许本地连接。如果需要远程监控 Tomcat，需要在 Tomcat 启动脚本中添加 JMX 远程连接参数。例如，在 catalina.sh (Linux) 或 catalina.bat (Windows) 的 JAVA_OPTS 环境变量中添加：

JAVA_OPTS="$JAVA_OPTS -Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=1099
-Dcom.sun.management.jmxremote.rmi.port=1099
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false"
​

注意: 上述配置为了简化演示，禁用了 JMX 认证和 SSL 加密。在生产环境中，强烈建议启用 JMX 认证和 SSL 加密，以保障 JMX 连接的安全性。

2. 使用 JConsole 或 VisualVM 连接 JMX: JDK 自带了 JConsole 和 VisualVM 等 JMX 客户端工具。启动 JConsole 或 VisualVM，选择 "远程进程"，输入 Tomcat 服务器的 IP 地址和 JMX 端口 (例如 localhost:1099 或 <Tomcat服务器IP>:1099)，点击 "连接"。

3. 浏览 MBeans: 连接成功后，JConsole 或 VisualVM 会显示 MBeans 树。在 "MBeans" 选项卡中，可以浏览 Tomcat 暴露的各种 MBeans，例如：

   • Catalina:type=Server

   • Catalina:type=GlobalRequestProcessor,name="http-nio-8080" (连接器 MBean)

   • Catalina:type=ThreadPool,name="http-nio-8080" (连接器线程池 MBean)

   • java.lang:type=Memory (JVM 内存 MBean)

   • java.lang:type=GarbageCollector,name=G1 Young Generation (JVM GC MBean)

   • ...

4. 查看 MBean 属性: 选择一个 MBean，例如 Catalina:type=GlobalRequestProcessor,name="http-nio-8080"，在 "属性" 选项卡中，可以查看该 MBean 的各种属性，例如 requestCount, errorCount, processingTime, maxTime 等。

Java 代码示例 (使用 JMX API 获取 MBean 属性):

import javax.management.MBeanServerConnection;
import javax.management.ObjectName;
import javax.management.remote.JMXConnector;
import javax.management.remote.JMXConnectorFactory;
import javax.management.remote.JMXServiceURL;
public class JMXMonitor {
    public static void main(String[] args) throws Exception {
        String jmxURL = "service:jmx:rmi:///jndi/rmi://localhost:1099/jmxrmi";
        JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);
        JMXConnector jmxc = JMXConnectorFactory.connect(serviceURL, null);
        MBeanServerConnection mbsc = jmxc.getMBeanServerConnection();
        ObjectName requestProcessorMBeanName = new ObjectName("Catalina:type=GlobalRequestProcessor,name=\"http-nio-8080\"");
        Long requestCount = (Long) mbsc.getAttribute(requestProcessorMBeanName, "requestCount");
        Long errorCount = (Long) mbsc.getAttribute(requestProcessorMBeanName, "errorCount");
        Long processingTime = (Long) mbsc.getAttribute(requestProcessorMBeanName, "processingTime");
        System.out.println("Request Count: " + requestCount);
        System.out.println("Error Count: " + errorCount);
        System.out.println("Processing Time: " + processingTime);
        jmxc.close();
    }
}
​

内容详解:

JMX 提供了强大而灵活的 Tomcat 监控能力。通过 JMX，我们可以获取 Tomcat 运行时几乎所有的监控指标。JConsole 和 VisualVM 等 JMX 客户端工具可以帮助我们可视化地查看和分析 JMX 数据。此外，我们还可以使用 Java 代码通过 JMX API 编程方式获取监控数据，并将其集成到自定义的监控系统或工具中。

3. Access Log Valve

Tomcat 的 Access Log Valve 可以记录每个请求的详细信息，例如请求时间、客户端 IP 地址、请求 URI、HTTP 状态码、请求处理时间等。通过分析 Access Log，我们可以了解请求的分布情况、错误率、性能瓶颈等。

配置 Access Log Valve:

在 conf/server.xml 文件中，找到 <Host> 元素，添加或修改 <Valve className="org.apache.catalina.valves.AccessLogValve" ... /> 配置。例如：

<Host name="localhost"  appBase="webapps"
      unpackWARs="true" autoDeploy="true">
  <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
         prefix="localhost_access_log" suffix=".txt"
         pattern="%h %l %u %t &quot;%r&quot; %s %b %D" resolveHosts="false"/>
  ...
</Host>
​

配置参数详解:

• className="org.apache.catalina.valves.AccessLogValve": 指定 Valve 的类名，即 Access Log Valve。

• directory="logs": 指定 Access Log 文件存放的目录，相对于 Tomcat 的 base 目录。

• prefix="localhost_access_log": 指定 Access Log 文件名的前缀。

• suffix=".txt": 指定 Access Log 文件名的后缀。

• pattern="%h %l %u %t "%r" %s %b %D": 指定 Access Log 的格式模式。常用的模式参数包括：

  • %h: 客户端主机名 (或 IP 地址，如果 resolveHosts="false")。

  • %l: 远程逻辑用户名 (总是 "-")。

  • %u: 远程用户认证用户名 (如果没有认证则为 "-")。

  • %t: 请求到达服务器的时间 (Common Log Format)。

  • "%r": 请求行 (例如 "GET /index.html HTTP/1.1")。

  • %s: HTTP 状态码。

  • %b: 响应内容长度 (字节)，不包括 HTTP Header，如果为 0 则为 "-")。

  • %D: 请求处理时间 (毫秒)。

  • %T: 请求处理时间 (秒)。

  • %p: 服务器端口号。

  • %U: 请求 URI。

  • %q: 查询字符串 (如果存在)。

  • %H: 请求协议。

  • %a: 客户端 IP 地址。

  • %A: 服务器 IP 地址。

  • %c: 请求的 Cookie。

  • %C: 响应的 Cookie。

  • %{xxx}i: 请求 Header "xxx"。

  • %{xxx}o: 响应 Header "xxx"。

  • %{xxx}r: ServletRequest 属性 "xxx"。

  • %{xxx}s: HttpSession 属性 "xxx"。

  • %{xxx}p: 页面属性 "xxx"。

• resolveHosts="false": 是否解析客户端主机名。设置为 false 可以提高性能，但日志中只记录客户端 IP 地址。

日志分析工具:

可以使用各种日志分析工具来分析 Tomcat Access Log，例如：

• 命令行工具: grep, awk, sed, cut, sort, uniq 等 Linux/Unix 命令行工具可以用于简单的日志过滤、统计和分析。

• 日志分析软件: 例如 GoAccess, AWStats, Webalizer 等开源日志分析软件，可以生成更丰富的统计报表和可视化图表。

• ELK Stack (Elasticsearch, Logstash, Kibana): ELK Stack 是一套强大的日志管理和分析平台，可以将 Tomcat Access Log 导入 Elasticsearch 中进行索引和存储，使用 Logstash 进行日志解析和处理，使用 Kibana 进行数据可视化和分析。

内容详解:

Access Log Valve 提供了一种简单有效的请求日志记录方式。通过配置不同的日志格式模式，可以记录各种有用的请求信息。结合日志分析工具，可以从 Access Log 中提取出各种性能指标和业务数据，用于监控、分析和优化 Tomcat 应用。

4. 第三方监控工具

除了 Tomcat 自带的监控工具，还有许多优秀的第三方监控工具可以用于 Tomcat 监控，例如：

• APM (Application Performance Management) 工具: 例如 Dynatrace, New Relic, AppDynamics, Pinpoint 等 APM 工具，可以提供全面的应用性能监控、事务跟踪、代码级分析、故障诊断等功能。APM 工具通常采用 Agent 方式部署，可以自动采集 Tomcat 和 Web 应用的各种性能指标，并提供丰富的可视化报表和告警功能。

• 开源监控系统: 例如 Prometheus + Grafana, Zabbix, Nagios 等开源监控系统，可以集成 JMX Exporter (Prometheus) 或 JMX 插件 (Zabbix, Nagios) 来采集 Tomcat JMX 指标，并使用 Grafana, Zabbix Web 界面, Nagios Web 界面等进行数据可视化和告警配置。

Prometheus + Grafana 监控 Tomcat 示例:

1. 部署 JMX Exporter: JMX Exporter 是一个 Prometheus Exporter，可以将 JMX 指标转换为 Prometheus 可以抓取的格式。下载 JMX Exporter JAR 包，并将其放置在 Tomcat 服务器上。

2. 配置 JMX Exporter: 创建 JMX Exporter 配置文件 config.yaml，指定要采集的 JMX MBeans 和属性。例如：

---
lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:
  - pattern: "Catalina<type=GlobalRequestProcessor,name=\"([a-zA-Z0-9-]+)\"><>"
    name: tomcat_global_request_processor
    labels:
      connector: "$1"
    help: Tomcat Global Request Processor Metrics
    attributes:
      requestCount:
        type: COUNTER
        help: Total number of requests
      errorCount:
        type: COUNTER
        help: Total number of errors
      processingTime:
        type: COUNTER
        help: Total processing time in ms
      maxTime:
        type: GAUGE
        help: Maximum processing time in ms
      bytesSent:
        type: COUNTER
        help: Total bytes sent
      bytesReceived:
        type: COUNTER
        help: Total bytes received
      threadsBusy:
        type: GAUGE
        help: Number of busy threads
      threadsMax:
        type: GAUGE
        help: Maximum number of threads
  - pattern: "java.lang<type=Memory><>"
    name: jvm_memory
    help: JVM Memory Metrics
    attributes:
      HeapMemoryUsage_committed:
        type: GAUGE
        help: Heap memory committed in bytes
      HeapMemoryUsage_max:
        type: GAUGE
        help: Heap memory max in bytes
      HeapMemoryUsage_used:
        type: GAUGE
        help: Heap memory used in bytes
      NonHeapMemoryUsage_committed:
        type: GAUGE
        help: Non-heap memory committed in bytes
      NonHeapMemoryUsage_max:
        type: GAUGE
        help: Non-heap memory max in bytes
      NonHeapMemoryUsage_used:
        type: GAUGE
        help: Non-heap memory used in bytes
  # ... 可以添加更多 JMX 指标配置 ...
​

3. 启动 JMX Exporter: 使用以下命令启动 JMX Exporter，连接到 Tomcat JVM 并暴露 Prometheus 指标接口：

java -jar jmx_exporter-<version>.jar <port> config.yaml
​

例如: java -jar jmx_exporter-0.17.0-SNAPSHOT-jar-with-dependencies.jar 9090 config.yaml

4. 配置 Prometheus 抓取 JMX Exporter 指标: 在 Prometheus 配置文件 prometheus.yml 中，添加 JMX Exporter 的抓取配置：

scrape_configs:
  - job_name: 'tomcat'
    metrics_path: /metrics
    static_configs:
      - targets: ['<Tomcat服务器IP>:9090']
​

5. 启动 Prometheus 和 Grafana: 启动 Prometheus 服务器和 Grafana 服务器。

6. 在 Grafana 中创建 Tomcat 监控仪表盘: 在 Grafana 中，添加 Prometheus 数据源，并创建仪表盘，使用 Prometheus 查询语句 (PromQL) 查询 Tomcat JMX 指标，并将其可视化展示在仪表盘上。

内容详解:

第三方监控工具通常提供比 Tomcat 自带工具更强大、更全面的监控功能。APM 工具适用于对应用性能进行深入分析和优化的场景，开源监控系统适用于构建大规模、可定制化的监控平台。Prometheus + Grafana 是一种流行的开源监控方案，可以灵活地采集、存储、可视化和告警 Tomcat JMX 指标。

6.2.4 监控最佳实践

为了实现有效的 Tomcat 监控，以下是一些最佳实践建议：

• 选择合适的监控指标: 根据实际需求选择需要监控的关键指标。对于 Web 应用，通常需要监控请求处理性能、JVM 内存和 GC 状况、连接器状态等。

• 设置合理的告警阈值: 根据应用的正常运行范围，设置合理的告警阈值。避免告警阈值过低导致误报，或告警阈值过高导致漏报。

• 自动化监控和告警: 尽可能使用自动化监控工具和告警系统，减少人工干预，提高监控效率和及时性。

• 定期分析监控数据: 定期分析监控数据，了解 Tomcat 的运行趋势，发现潜在的性能问题，并进行容量规划和性能优化。

• 集成监控系统到运维流程: 将 Tomcat 监控系统集成到日常运维流程中，例如发布流程、故障处理流程等，确保监控数据的有效利用。

• 安全考虑: 如果使用 JMX 远程连接或第三方监控工具，需要考虑安全性，例如启用 JMX 认证和 SSL 加密，配置监控工具的访问权限等。

6.2.5 总结

Tomcat 监控是 Tomcat 性能调优和保障应用稳定运行的重要组成部分。本章节介绍了 Tomcat 监控的重要性、常用监控指标、监控方法和工具，以及监控最佳实践。通过学习本章节内容，读者应该能够掌握 Tomcat 监控的基本原理和方法，并选择合适的监控工具和策略，构建有效的 Tomcat 监控系统，从而提升 Web 应用的性能和稳定性。