【面试实战】# 并发编程之线程池配置实战

暴躁的菜鸡 2024-06-19 14:39:01 阅读 63

1.先了解线程池的几个参数含义

corePoolSize (核心线程池大小):

作用: 指定了线程池维护的核心线程数量，即使这些线程处于空闲状态，它们也不会被回收。
用途: 核心线程用于处理长期的任务，保持最低的线程数量，以减少线程的创建和销毁的开销。

maximumPoolSize (最大线程池大小):

作用: 指定了线程池中允许的最大线程数。超过这个数量的线程将不会被创建。
用途: 限制了线程池的大小，以防止资源耗尽。

keepAliveTime (线程空闲时间):

作用: 当线程数超过 corePoolSize 时，多余的线程在空闲时间超过指定时间后将会被终止和回收。
用途: 用于回收不再需要的线程，降低资源消耗。只对超过 corePoolSize 的线程起作用。

unit (时间单位):

作用: 与 keepAliveTime 一起使用，指定线程空闲时间的时间单位（如秒、毫秒）。
用途: 定义 keepAliveTime 的时间单位。

workQueue (任务队列):

作用: 用于保存等待执行的任务的队列。
用途

管理任务的排队和处理方式，不同的队列类型可以影响线程池的行为。
- 常见的队列类型有：
  - SynchronousQueue: 不存储任务，任务直接交给线程执行。如果没有空闲线程，则创建新线程。
  - LinkedBlockingQueue: 无界队列，可以存储任意多的任务。只有在任务队列为空时，才会创建新线程。
  - ArrayBlockingQueue: 有界队列，存储固定数量的任务，当队列满时，任务将被拒绝。

threadFactory (线程工厂):

作用: 用于创建线程的工厂，可以定制线程的创建，比如设置线程名、优先级等。
用途: 统一管理线程的创建细节，有助于调试和监控。

handler (饱和策略/拒绝策略):

作用: 当任务无法提交给线程池（例如线程池已满且任务队列已满）时，如何处理新任务。
用途

定义任务无法被执行时的处理方式。
- 常见策略有：
  - AbortPolicy: 抛出 RejectedExecutionException 异常。
  - CallerRunsPolicy: 由调用者线程执行该任务。
  - DiscardPolicy: 丢弃新提交的任务。
  - DiscardOldestPolicy: 丢弃队列中最旧的任务。

2.调整线程池配置应对高并发（常规操作）

为了应对高并发的需求，可以考虑以下调整：

增大 corePoolSize 和 maximumPoolSize:
- 增加核心线程和最大线程数可以提高线程池的并发处理能力，减少任务的等待时间。
调整 keepAliveTime 和 unit:
- 减少 keepAliveTime 可以更快地回收闲置线程，释放资源。相反，增加 keepAliveTime 适用于任务间隔较长的场景，以避免频繁创建和销毁线程。
选择合适的 workQueue:
- 使用 SynchronousQueue 可以在任务很多但线程数不足时迅速增加线程数。
- 使用 LinkedBlockingQueue 可以应对任务队列过长的问题，但可能导致线程数不会增加到最大。
- 使用 ArrayBlockingQueue 适合在任务数有限的场景，防止资源耗尽。
合理配置 handler:
- 根据系统需求选择适合的拒绝策略。比如，在希望任务尽量被处理时使用 CallerRunsPolicy，在任务不能丢失时选择 AbortPolicy。
优化 threadFactory:
- 使用自定义的线程工厂设置线程名、优先级、守护线程等，提高线程管理的清晰度和系统稳定性。
监控和调整:
- 定期监控线程池的性能指标，如任务队列长度、线程使用率等，并根据实际情况动态调整参数配置。

// 创建线程池

ThreadPoolExecutor executor = new ThreadPoolExecutor(

10, // corePoolSize

50, // maximumPoolSize

60, // keepAliveTime

TimeUnit.SECONDS, // keepAliveTime's unit

new LinkedBlockingQueue<>(100), // workQueue

Executors.defaultThreadFactory(), // threadFactory

new ThreadPoolExecutor.AbortPolicy() // handler

);

// 提交任务

executor.submit(() -> {

// Task implementation

});

// 关闭线程池

executor.shutdown();

3.IO密集型、CPU密集型任务的合理配置（生产常用）

3.1 IO密集型任务

IO密集型任务:（例如网络操作、文件读写）通常不需要大量的CPU时间，但可能会等待IO操作的完成。为了有效利用系统资源，可以配置更多的线程来掩盖IO操作的等待时间。

配置建议:

corePoolSize 和 maximumPoolSize:
- 建议的线程数通常远超过 CPU 核心数，因为线程在等待IO操作时不会占用CPU。可以使用 (CPU 核心数 * 2) 或更多，甚至是 (CPU 核心数 * 2) + 1 这种经验值。
- 如果线程数太少，CPU资源可能未能充分利用。太多的线程可能会导致线程上下文切换的开销。
keepAliveTime 和 unit:
- 适当地增加 keepAliveTime，让线程在空闲时保留一段时间，以便在短时间内有任务到达时无需重新创建线程。
workQueue:
- LinkedBlockingQueue 是常见选择，因为它可以有效处理大量任务，而不需要频繁地创建和销毁线程。
- SynchronousQueue 也可以用于高并发IO场景，确保任务直接交给线程执行，迅速响应。

示例:

int numCores = Runtime.getRuntime().availableProcessors();

ThreadPoolExecutor ioBoundExecutor = new ThreadPoolExecutor(

numCores * 2, // corePoolSize

numCores * 2 + 1, // maximumPoolSize

60L, // keepAliveTime

TimeUnit.SECONDS, // keepAliveTime's unit

new LinkedBlockingQueue<>(), // workQueue

Executors.defaultThreadFactory(), // threadFactory

new ThreadPoolExecutor.CallerRunsPolicy() // handler

);

3.2 CPU密集型任务

CPU密集型任务:（例如计算密集的操作、数据处理）主要消耗 CPU 资源，因此线程数应该与 CPU 核心数相匹配，以避免过度的线程上下文切换和资源竞争。

配置建议:

corePoolSize 和 maximumPoolSize:
- 通常设置为 CPU 核心数 或 CPU 核心数 + 1。
- 过多的线程可能导致频繁的上下文切换，降低性能。
keepAliveTime 和 unit:
- keepAliveTime 通常设置较短，适合及时回收空闲线程。
workQueue:
- SynchronousQueue 或 ArrayBlockingQueue 是不错的选择，可以避免任务堆积，确保线程数控制在合理范围内。

示例:

int numCores = Runtime.getRuntime().availableProcessors();

ThreadPoolExecutor cpuBoundExecutor = new ThreadPoolExecutor(

numCores, // corePoolSize

numCores + 1, // maximumPoolSize

30L, // keepAliveTime

TimeUnit.SECONDS, // keepAliveTime's unit

new SynchronousQueue<>(), // workQueue

Executors.defaultThreadFactory(), // threadFactory

new ThreadPoolExecutor.AbortPolicy() // handler

);

3.3 关键考虑因素

系统资源和负载:
- 监控系统的实际负载和资源使用情况，定期调整配置。
任务特性:
- 根据任务的性质（长任务、短任务、IO 密集型、CPU 密集型）选择合适的线程池配置。
阻塞时间:
- 对于 IO 密集型任务，理解和分析任务的阻塞时间，并根据其阻塞时间设置合适的线程池大小。
拒绝策略:
- 合理选择拒绝策略（如 AbortPolicy, CallerRunsPolicy），确保系统在负载过高时能平稳处理任务。

4.专业级线程池配置（大厂规范）

4.1 线程池大小的计算公式

IO 密集型任务

对于IO密集型任务，可以使用以下公式计算适合的线程池大小：

N_threads: 推荐的线程池大小

N_cores: CPU核心数

W: 任务的等待时间（包括IO操作的等待时间）

C: 任务的计算时间

U: 期望的CPU使用率，通常设为0.8~0.9，避免CPU负载过高（0 < U < 1）

解释: 公式中的 W/C反映了IO操作占用的时间比，1 - U 是为了预留一定的CPU资源。