2.5 Tomcat 线程模型

2.5 Tomcat 线程模型

第二章：Tomcat 架构原理

2.5 Tomcat 线程模型

Tomcat 作为一款流行的 Servlet 容器，其高效处理并发请求的能力很大程度上依赖于其精心设计的线程模型。理解 Tomcat 的线程模型对于优化 Tomcat 性能、排查并发问题至关重要。本章节将深入探讨 Tomcat 的线程模型，包括其核心组件、工作原理、配置方式以及相关的代码实践。

2.5.1 线程模型概述

线程模型是操作系统和应用程序处理并发任务的一种方式。在 Web 服务器领域，线程模型直接影响服务器处理客户端并发请求的能力。Tomcat 采用的是多线程模型来处理并发请求，这意味着 Tomcat 会创建多个线程来同时处理来自不同客户端的请求。

Tomcat 的线程模型主要围绕着 Connector（连接器） 和 Executor（执行器） 这两个核心组件展开。Connector 负责接收客户端的连接请求，而 Executor 则负责管理用于处理这些请求的线程池。

核心概念：

• Connector (连接器): Tomcat 中负责接收客户端请求的组件。它监听指定的端口，接收网络连接，并将接收到的请求交给容器进行处理。Tomcat 支持多种 Connector，例如 HTTP/1.1 Connector (基于 BIO、NIO、NIO2、APR)、AJP Connector 等。每种 Connector 都会涉及到线程的使用。

• Executor (执行器): Tomcat 中负责管理线程池的组件。Executor 提供了一种标准化的方式来管理线程的生命周期和调度。Connector 可以配置使用 Executor 提供的线程池，也可以使用 Connector 自身管理的线程池（在早期的 Tomcat 版本中更常见）。使用 Executor 可以更好地控制线程资源，提高性能和可维护性。

• 线程池 (Thread Pool): 一组预先创建好的线程，用于执行任务。线程池可以减少线程创建和销毁的开销，提高系统响应速度和吞吐量。Tomcat 使用线程池来管理处理请求的线程。

• Acceptor 线程: Connector 组件中用于接收新的网络连接的线程。Acceptor 线程监听指定的端口，当有新的连接到达时，Acceptor 线程负责接受连接，并将连接交给后续的线程处理。

• Processor/Worker 线程: Connector 组件中用于处理已接受连接上的请求的线程。Processor 线程负责读取请求数据、解析请求、调用 Servlet 容器处理请求，并将响应数据发送回客户端。在一些配置中，也称为 Worker 线程。

• Poller 线程 (NIO/NIO2/APR Connector): 在使用非阻塞 I/O (NIO/NIO2/APR) 的 Connector 中，Poller 线程负责监听多个连接上的 I/O 事件（例如，可读事件）。当连接上有事件发生时，Poller 线程会通知 Processor 线程进行处理。Poller 线程提高了服务器的并发处理能力，减少了线程阻塞。

线程模型目标：

Tomcat 线程模型的设计目标是：

• 高并发处理能力: 能够同时处理大量并发请求，保证系统的吞吐量和响应速度。

• 资源高效利用: 有效地利用系统资源（例如，CPU、内存），避免线程创建和销毁的开销，减少资源浪费。

• 可配置性与灵活性: 提供灵活的配置选项，允许管理员根据不同的应用场景调整线程池的大小、类型等参数，以达到最佳性能。

• 稳定性与可靠性: 保证系统在各种负载情况下都能稳定运行，避免因线程管理不当导致系统崩溃或性能下降。

2.5.2 Tomcat 线程模型组件详解

Tomcat 的线程模型主要围绕 Connector 和 Executor 展开，不同的 Connector 类型会采用不同的线程模型实现。我们主要关注常用的 HTTP/1.1 Connector 以及其线程模型。

2.5.2.1 Connector 组件的线程模型

Connector 组件是 Tomcat 接收客户端请求的入口，其线程模型至关重要。HTTP/1.1 Connector ( Http11NioProtocol, Http11AprProtocol, Http11Nio2Protocol 等) 通常采用以下线程模型：

1. BIO Connector (Blocking I/O):

在早期的 Tomcat 版本以及 Http11Protocol (默认使用 BIO) 中，Connector 使用的是传统的阻塞 I/O 模型。

• 线程模型: 每个连接请求都会分配一个独立的线程来处理。这意味着如果有大量的并发连接，Tomcat 就需要创建大量的线程。

• 工作流程:

  1. Acceptor 线程: 监听指定的端口，接收新的连接请求。每当有新的连接到达时，Acceptor 线程接受连接。

  2. Worker 线程: 为每个接受的连接分配一个 Worker 线程。Worker 线程负责读取请求数据、处理请求、发送响应，直到连接关闭。

  3. 线程阻塞: 在 Worker 线程处理请求期间，如果发生 I/O 操作（例如，读取请求数据、发送响应数据），线程会阻塞等待 I/O 完成。

• 缺点:

  • 线程资源消耗大: 在高并发场景下，大量的连接会导致大量的线程被创建，线程切换开销大，系统资源消耗高。

  • 并发能力有限: 受限于操作系统线程数量的限制，BIO Connector 的并发处理能力有限。

2. NIO Connector (Non-blocking I/O):

为了解决 BIO Connector 的问题，Tomcat 引入了基于 NIO (Non-blocking I/O) 的 Connector，例如 Http11NioProtocol。

• 线程模型: 使用少量的 Poller 线程和 Worker 线程池来处理大量的连接请求。

• 工作流程:

  1. Acceptor 线程: 与 BIO Connector 类似，负责接收新的连接请求。

  2. Poller 线程: 负责监听多个连接上的 I/O 事件。每个 Poller 线程维护一个 Selector，并注册多个 SocketChannel 到 Selector 上。

  3. 事件驱动: 当某个连接上有数据可读或可写时，Selector 会通知 Poller 线程。

  4. Worker 线程池: Poller 线程从 Worker 线程池中获取一个 Worker 线程，将发生 I/O 事件的连接交给 Worker 线程处理。Worker 线程处理完请求后，将连接返回给 Poller 线程继续监听。

• 优点:

  • 资源利用率高: 使用少量的 Poller 线程即可监听大量的连接，减少了线程创建和切换的开销。

  • 高并发能力: NIO Connector 可以处理更多的并发连接，提高了系统的吞吐量。

  • 非阻塞 I/O: Poller 线程在等待 I/O 事件时不会阻塞，可以同时处理多个连接。

3. NIO2 Connector (Asynchronous I/O):

NIO2 Connector (例如 Http11Nio2Protocol) 进一步利用了 Java 7 引入的 Asynchronous I/O (AIO) 特性。

• 线程模型: 与 NIO Connector 类似，但底层 I/O 操作采用异步方式，进一步提升性能。

• 工作流程: 类似于 NIO Connector，但 Poller 线程使用 AsynchronousChannelGroup 进行异步 I/O 操作。当 I/O 操作完成时，会通过回调函数通知 Poller 线程或直接提交到 Worker 线程池处理。

• 优点: 在某些场景下，AIO 可以比 NIO 具有更高的性能，尤其是在处理大量并发连接和高网络延迟的情况下。

4. APR Connector (Apache Portable Runtime):

APR Connector (例如 Http11AprProtocol) 利用 Apache Portable Runtime 库，它是一个高度优化的本地库，可以提供更好的性能和可扩展性。

• 线程模型: 类似于 NIO Connector，但底层 I/O 操作使用 APR 库实现，通常可以获得更好的性能。

• 优点: 在性能方面通常优于 NIO Connector，尤其是在处理静态内容和 SSL 连接时。需要安装 APR 库和本地 Tomcat Native 组件。

总结：Connector 线程模型对比

Mermaid 图示：NIO Connector 线程模型

图示解释：

1. Acceptor 线程 接收客户端连接请求。

2. 连接注册到 Selector，由 Poller 线程 监听连接上的事件。

3. 当连接上有事件发生时，Poller 线程 从 Worker 线程池 获取一个 Worker 线程。

4. Worker 线程 处理请求，完成后将连接返回给 Poller 线程 继续监听。

2.5.2.2 Executor 组件的线程模型

Executor 组件是 Tomcat 中用于管理线程池的组件。通过配置 Executor，Connector 可以使用 Executor 提供的线程池来执行任务，例如处理请求。

Executor 类型：

Tomcat 提供了多种 Executor 的实现，最常用的是 java.util.concurrent.ThreadPoolExecutor 的封装。

Executor 配置：

Executor 的配置通常在 server.xml 文件中进行。例如：

<Executor name="tomcatThreadPool"
    namePrefix="catalina-exec-"
    maxThreads="200"
    minSpareThreads="25"
    maxIdleTime="60000"
    threadPriority="5"
    daemon="true"
    prestartminSpareThreads="false"/>
<Connector port="8080" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="8443"
           executor="tomcatThreadPool"/>
​

配置参数详解：

• name: Executor 的名称，用于在 Connector 中引用。

• namePrefix: 线程名称前缀，方便在线程 dump 和日志中识别线程池线程。

• maxThreads: 线程池中允许的最大线程数。当任务队列已满且线程数小于 maxThreads 时，线程池会创建新的线程来执行任务。

• minSpareThreads: 线程池中保持的最小空闲线程数。即使线程池处于空闲状态，也会保持至少 minSpareThreads 个线程存活。

• maxIdleTime: 空闲线程的最大存活时间 (毫秒)。如果空闲线程的空闲时间超过 maxIdleTime，线程池会回收这些空闲线程，直到线程数降至 minSpareThreads。

• threadPriority: 线程优先级。

• daemon: 是否为守护线程。通常设置为 true。

• prestartminSpareThreads: Tomcat 启动时是否预先创建 minSpareThreads 个线程。设置为 true 可以加快启动速度，但会增加启动时的资源消耗。

• maxQueueSize (可选): 任务队列的最大长度。如果设置了 maxQueueSize，当任务队列达到最大长度时，新的任务将被拒绝 (取决于 RejectedExecutionHandler 的策略)。如果不设置或设置为 -1，则使用无界队列 ( LinkedBlockingQueue )。

• rejectedExecutionHandlerClassName (可选): 拒绝策略的类名。当线程池和任务队列都满时，新的任务将被拒绝。Tomcat 提供了多种拒绝策略，例如 java.util.concurrent.ThreadPoolExecutor.AbortPolicy (默认，抛出 RejectedExecutionException)、DiscardPolicy (静默丢弃任务)、DiscardOldestPolicy (丢弃队列中最旧的任务)、CallerRunsPolicy (由提交任务的线程执行任务) 等。

• threadRenewalDelay (可选): 线程续订延迟 (毫秒)。用于解决某些 JVM 线程缓存问题。

Executor 的作用：

• 线程池管理: Executor 统一管理线程池的创建、销毁、线程数量控制、任务队列等。

• 资源控制: 通过配置 Executor 的参数，可以有效地控制线程资源的使用，避免线程数量过多导致系统资源耗尽。

• 性能优化: 线程池可以减少线程创建和销毁的开销，提高系统的响应速度和吞吐量。

• 解耦 Connector 和线程管理: Connector 只需要从 Executor 获取线程执行任务，而无需关心线程池的实现细节，实现了 Connector 和线程管理的解耦，提高了代码的可维护性和灵活性。

2.5.3 代码实践：配置 Tomcat 线程模型

本节将通过代码实践演示如何配置 Tomcat 的线程模型，包括 Connector 类型选择和 Executor 配置。

1. 选择 Connector 类型:

在 server.xml 文件中，可以配置 Connector 的 protocol 属性来选择不同的 Connector 类型。

• BIO (默认): protocol="HTTP/1.1" 或 protocol="org.apache.coyote.http11.Http11Protocol"

• NIO: protocol="org.apache.coyote.http11.Http11NioProtocol"

• NIO2: protocol="org.apache.coyote.http11.Http11Nio2Protocol"

• APR: protocol="org.apache.coyote.http11.Http11AprProtocol" (需要安装 APR 库和 Tomcat Native 组件)

示例：配置 NIO Connector

<Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
           connectionTimeout="20000"
           redirectPort="8443" />
​

2. 配置 Executor 线程池:

在 server.xml 文件中，可以配置 <Executor> 元素来定义线程池，并在 <Connector> 元素中使用 executor 属性来引用 Executor。

示例：配置 Executor 并应用到 NIO Connector

<Executor name="myThreadPool"
    namePrefix="my-tomcat-exec-"
    maxThreads="300"
    minSpareThreads="50"
    maxIdleTime="60000" />
<Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
           connectionTimeout="20000"
           redirectPort="8443"
           executor="myThreadPool" />
​

3. 线程池参数调优实践:

线程池参数的调优需要根据具体的应用场景和负载情况进行。以下是一些通用的调优建议：

• maxThreads: 根据预期的并发请求量和系统资源情况进行设置。如果应用是 CPU 密集型，maxThreads 可以设置为 CPU 核心数或略高；如果应用是 I/O 密集型，maxThreads 可以设置得更高，例如 CPU 核心数的几倍。

• minSpareThreads: 设置适当的 minSpareThreads 可以减少线程创建的开销，提高系统响应速度。通常可以设置为 maxThreads 的一部分。

• maxQueueSize: 如果设置了 maxQueueSize，需要根据应用的请求处理速度和请求到达速率进行调整。如果请求处理速度较慢或请求到达速率过高，可能需要增大 maxQueueSize 或使用无界队列。但需要注意无界队列可能导致内存溢出风险。

• 监控和调优: 在生产环境中，需要持续监控 Tomcat 的线程池性能指标 (例如，活跃线程数、队列长度、拒绝任务数等)，并根据监控数据进行调优。可以使用 JConsole、VisualVM、JMX 等工具进行监控。

代码示例：使用 JConsole 监控 Tomcat 线程池

1. 启动 Tomcat，并启用 JMX 远程监控 (需要在 catalina.sh 或 catalina.bat 中配置 JMX 选项)。

2. 启动 JConsole，连接到 Tomcat 进程。

3. 在 JConsole 的 "MBeans" 选项卡中，找到 "Tomcat" -> "ThreadPool" -> "myThreadPool" (或你配置的 Executor 名称)。

4. 可以查看线程池的各种属性，例如 activeCount (活跃线程数)、poolSize (线程池大小)、queueSize (队列长度)、rejectedCount (拒绝任务数) 等。

通过 JConsole 或其他监控工具，可以实时了解线程池的运行状态，并根据实际情况调整线程池参数，优化 Tomcat 性能。

2.5.4 内容详解：深入理解线程模型

2.5.4.1 线程池工作原理深入

Tomcat 使用的 java.util.concurrent.ThreadPoolExecutor 是 Java 并发包中功能强大且灵活的线程池实现。理解其工作原理对于 Tomcat 线程模型至关重要。

ThreadPoolExecutor 工作流程:

1. 提交任务: 当有新的任务提交到线程池时，线程池首先会检查当前线程池中的线程数。

2. 线程数判断:

   • 线程数 < corePoolSize: 如果当前线程数小于核心线程数 corePoolSize，则线程池会创建新的线程来执行任务，即使有空闲线程。

   • 线程数 >= corePoolSize 且 任务队列未满: 如果当前线程数大于等于核心线程数，但任务队列 ( BlockingQueue ) 未满，则将任务添加到任务队列中等待执行。

   • 线程数 >= corePoolSize 且 任务队列已满 且 线程数 < maxPoolSize: 如果当前线程数大于等于核心线程数，且任务队列已满，但线程数小于最大线程数 maxPoolSize，则线程池会创建新的线程来执行任务。

   • 线程数 >= maxPoolSize 且 任务队列已满: 如果当前线程数大于等于最大线程数，且任务队列已满，则线程池会根据配置的拒绝策略 ( RejectedExecutionHandler ) 来处理任务。常见的拒绝策略包括抛出异常、丢弃任务、丢弃队列中最旧的任务、由提交任务的线程执行任务等。

3. 线程执行任务: 线程池中的线程会不断从任务队列中获取任务并执行。

4. 线程回收: 当线程执行完任务后，会尝试从任务队列中获取新的任务。如果任务队列为空，且线程空闲时间超过 keepAliveTime (对于非核心线程)，则线程会被回收，直到线程池中的线程数降至 corePoolSize。

线程池参数关系:

• corePoolSize (核心线程数): 线程池中常驻的线程数。即使线程空闲，核心线程也不会被回收 (除非设置了 allowCoreThreadTimeOut 为 true )。

• maxPoolSize (最大线程数): 线程池允许的最大线程数。当任务队列满且线程数小于 maxPoolSize 时，线程池会创建新的线程来执行任务。

• keepAliveTime (线程存活时间): 非核心线程的空闲存活时间。当非核心线程空闲时间超过 keepAliveTime 时，会被回收。

• BlockingQueue (任务队列): 用于存储等待执行的任务的队列。常见的队列类型包括 ArrayBlockingQueue (有界队列)、LinkedBlockingQueue (无界队列，默认)、SynchronousQueue (不存储任务，直接提交给线程执行，如果线程池没有空闲线程则拒绝任务) 等。

选择合适的线程池参数:

选择合适的线程池参数需要根据应用的特点进行权衡。

• CPU 密集型应用: CPU 密集型应用的主要瓶颈在于 CPU 资源，线程数不宜设置过高，通常设置为 CPU 核心数或略高。过多的线程切换反而会降低性能。

• I/O 密集型应用: I/O 密集型应用的主要瓶颈在于 I/O 操作，线程在等待 I/O 完成时会处于空闲状态，可以适当增加线程数，以提高并发处理能力。

• 混合型应用: 对于混合型应用，需要根据 CPU 密集型和 I/O 密集型任务的比例进行调整。

2.5.4.2 线程模型与性能调优

Tomcat 线程模型的配置直接影响 Tomcat 的性能。合理的线程模型配置可以提高 Tomcat 的吞吐量、响应速度和资源利用率。

性能调优方向：

• 选择合适的 Connector 类型: 根据应用场景选择合适的 Connector 类型。对于高并发应用，建议使用 NIO、NIO2 或 APR Connector。BIO Connector 适用于并发量较低的应用。

• 合理配置 Executor 线程池: 根据应用的负载情况和系统资源情况，合理配置 Executor 的线程池参数，例如 maxThreads、minSpareThreads、maxQueueSize 等。

• 监控线程池性能指标: 使用 JConsole、VisualVM、JMX 等工具监控线程池的性能指标，例如活跃线程数、队列长度、拒绝任务数等。根据监控数据进行调优。

• 调整操作系统参数: 在某些情况下，可能需要调整操作系统的相关参数，例如 TCP 连接参数、文件句柄限制等，以提高 Tomcat 的性能。

• 应用层面优化: Tomcat 性能优化不仅仅是线程模型的配置，还需要从应用层面进行优化，例如优化 Servlet 代码、减少数据库查询、使用缓存、优化静态资源处理等。

常见性能问题及调优方法：

• 请求处理慢:

  • 原因: 可能是线程池线程不足，导致请求排队等待；也可能是应用代码执行缓慢，例如数据库查询慢、Servlet 代码逻辑复杂等。

  • 调优方法: 增加 maxThreads 线程数，优化应用代码，优化数据库查询，使用缓存等。

• CPU 使用率高:

  • 原因: 可能是线程数过多，导致线程切换开销过大；也可能是应用代码 CPU 密集型计算过多。

  • 调优方法: 减少 maxThreads 线程数，优化应用代码，减少 CPU 密集型计算，使用性能分析工具 (例如，JProfiler、YourKit) 分析 CPU 热点。

• 内存溢出 (OutOfMemoryError):

  • 原因: 可能是线程池任务队列过大，导致内存占用过多；也可能是应用代码内存泄漏。

  • 调优方法: 限制 maxQueueSize 任务队列大小，使用有界队列，优化应用代码，排查内存泄漏。

• 连接拒绝 (Connection Refused):

  • 原因: 可能是 Tomcat 线程池处理能力不足，导致新的连接请求被拒绝；也可能是操作系统 TCP 连接队列满。

  • 调优方法: 增加 maxThreads 线程数，优化应用代码，检查操作系统 TCP 连接队列参数 (例如，backlog )。

2.5.5 总结

Tomcat 的线程模型是其高性能和高并发处理能力的关键。理解 Tomcat 的线程模型，包括 Connector 类型、Executor 组件、线程池工作原理等，对于 Tomcat 的配置、优化和问题排查至关重要。

本章节核心要点回顾：

• Tomcat 线程模型基于 Connector 和 Executor 两个核心组件。

• Connector 负责接收客户端连接请求，不同的 Connector 类型 (BIO, NIO, NIO2, APR) 采用不同的线程模型实现。

• Executor 负责管理线程池，Connector 可以配置使用 Executor 提供的线程池。

• 线程池 通过复用线程、控制线程数量、使用任务队列等机制，提高了系统性能和资源利用率。

• 合理配置 Connector 类型 和 Executor 线程池参数，可以优化 Tomcat 性能。

• 需要通过 监控线程池性能指标，并结合应用特点进行持续调优。

深入理解 Tomcat 线程模型，并结合实际应用场景进行合理的配置和调优，可以充分发挥 Tomcat 的性能优势，构建高性能、高可靠的 Web 应用系统。