在开发过程中,合理地使用线程池能够带来3个好处。
- 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
- 提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。
- 提高线程的可管理性。线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,
还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。
1. 线程池的使用原理
从图中可以看出,当提交一个新任务到线程池时,线程池的处理流程如下。
- 线程池判断核心线程池里的线程是否都在执行任务。如果不是,则创建一个新的工作
线程来执行任务。如果核心线程池里的线程都在执行任务,则进入下个流程。- 线程池判断工作队列是否已经满。如果工作队列没有满,则将新提交的任务存储在这
个工作队列里。如果工作队列满了,则进入下个流程。- 线程池判断线程池的线程是否都处于工作状态。如果没有,则创建一个新的工作线程
来执行任务。如果已经满了,则交给饱和策略来处理这个任务。
ThreadPool的执行示意图:
ThreadPoolExecutor执行execute方法分下面4种情况。
- 如果当前运行的线程少于corePoolSize,则创建新线程来执行任务(注意,执行这一步骤需要获取全局锁)。
- 如果运行的线程等于或多于corePoolSize,则将任务加入BlockingQueue。
- 如果无法将任务加入BlockingQueue(队列已满),则创建新的线程来处理任务(注意,执行这一步骤需要获取全局锁)。
- 如果创建新线程将使当前运行的线程超出maximumPoolSize,任务将被拒绝,并调用
RejectedExecutionHandler.rejectedExecution()方法。
下面我们从源码的角度分析一下ThreadPoolExecutor的execute()方法:
public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
int c = ctl.get();
// 如果线程数小于基本线程数,则创建线程并执行当前任务
if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
c = ctl.get();
}
// 如线程数大于等于基本线程数或线程创建失败,则将当前任务放到工作队列中。
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
if (! isRunning(recheck) && remove(command))
//抛出RejectedExecutionException异常
reject(command);
//如果线程池不处于运行中或任务无法放入队列中,并且当前线程的数量小于最大允许的线程数量,则创建一个工作线程执行任务。
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
}
else if (!addWorker(command, false))
//抛出RejectedExecutionException异常
reject(command);
}
工作线程:线程池创建线程时,会将线程封装成工作线程Worker,Worker在执行完任务
后,还会循环获取工作队列里的任务来执行。我们可以从Worker类的run()方法里看到这点。
final void runWorker(Worker w) {
Thread wt = Thread.currentThread();
Runnable task = w.firstTask;
w.firstTask = null;
w.unlock(); // allow interrupts
boolean completedAbruptly = true;
try {
while (task != null || (task = getTask()) != null) {
w.lock();
// If pool is stopping, ensure thread is interrupted;
// if not, ensure thread is not interrupted. This
// requires a recheck in second case to deal with
// shutdownNow race while clearing interrupt
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
beforeExecute(wt, task);
Throwable thrown = null;
try {
task.run();
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
afterExecute(task, thrown);
}
} finally {
task = null;
w.completedTasks++;
w.unlock();
}
}
completedAbruptly = false;
} finally {
processWorkerExit(w, completedAbruptly);
}
}
ThreadPoolExecutor中线程执行任务的示意图 如下:
2. 线程池的使用
2.1 线程池的创建
我们可以通过ThreadPoolExecutor来创建一个线程池。
new ThreadPoolExecutor(corePoolSize, maximumPoolSize, keepAliveTime,milliseconds,runnableTaskQueue, handler);
创建一个线程池时需要输入几个参数,如下。
- corePoolSize(线程池的基本大小):当提交一个任务到线程池时,线程池会创建一个线程来执行任务,即使其他空闲的基本线程能够执行新任务也会创建线程,等到需要执行的任务数大于线程池基本大小时就不再创建。
- runnableTaskQueue(任务队列):用于保存等待执行的任务的阻塞队列。可以选择以下几个阻塞队列。
- ArrayBlockingQueue:是一个基于数组结构的有界阻塞队列
- LinkedBlockingQueue:一个基于链表结构的有界阻塞队列
- SynchronousQueue:一个不存储元素的阻塞队列。
- PriorityBlockingQueue:一个具有优先级的无限阻塞队列。
- maximumPoolSize(线程池最大数量):线程池允许创建的最大线程数。
- ThreadFactory:用于设置创建线程的工厂,可以通过线程工厂给每个创建出来的线程设置更有意义的名字。使用开源框架guava提供的ThreadFactoryBuilder
- RejectedExecutionHandler(饱和策略):当队列和线程池都满了,说明线程池处于饱和状态,那么必须采取一种策略处理提交的新任务。
- AbortPolicy: 直接抛出异常
- CallerRunsPolicy:只用调用者所在线程来运行任务
- DiscardOldestPolicy:丢弃最近的一个任务,并执行当前线程。
- DiscardPolicy:不处理丢掉
- keepAliveTime(线程活动保持时间):线程池的工作线程空闲后,保持存活的时间。所以,如果任务很多,并且每个任务执行的时间比较短,可以调大时间,提高线程的利用率。
- TimeUnit(线程活动保持时间的单位):可选的单位有天(DAYS)、小时(HOURS)、分钟(MINUTES)、毫秒(MILLISECONDS)、微秒(MICROSECONDS,千分之一毫秒)和纳秒
2.2 向线程池提交任务
可以使用两个方法向线程池提交任务,分别为execute()和submit()方法。
- execute()方法用于提交不需要返回值的任务,所以无法判断任务是否被线程池执行成功。
- submit()方法用于提交需要返回值的任务。线程池会返回一个future类型的对象,通过这个future对象可以判断任务是否执行成功,并且可以通过future的get()方法来获取返回值,get()方法会阻塞当前线程直到任务完成,而使用get(long timeout,TimeUnit unit)方法则会阻塞当前线程一段时间后立即返回,这时候有可能任务没有执行完。
2.3 关闭线程池
关闭线程池有两种方式,一种是调用shutdown()方法还有一种是调用shutdownNow()方法来关闭线程池。它们的原理是遍历线程池中的工作线程,然后逐个调用线程的interrupt方法来中断线程,所以无法响应中断的任务可能永远无法终止。
但是他们之间也存在一些区别:
- shutdownNow首先将线程池的状态设置成STOP,然后尝试停止所有的正在执行或暂停任务的线程,并返回等待执行任务的列表
- shutdown只是将线程池的状态设置成SHUTDOWN状态,然后中断所有没有正在执行任务的线程。
当调用shutdown()和shutdownNow()方法之后,线程池执行isShutdown方法就会返回true。当所有的任务都已关闭后,才表示线程池关闭成功,这时调用isTerminaed方法会返回true。
2.4 合理地配置线程池
要合理配置线程池,需要先分析任务的特性:
- 任务的性质:CPU密集型任务、IO密集型任务 和 混合型任务。
- 优先级:高、中、低。
- 执行时间:长、中、短。
- 任务的依赖性:是否依赖其他的系统资源,如数据库连接等。
配置方案:
-
根据任务性质,可做如下配置:
-
CPU密集型任务
尽量使用小规模线程池,一般线程数量:CPU核心数 + 1。
因为CPU密集型任务的CPU利用率很高,过多线程导致上下文切换过多,造成额外开销。
-
IO密集型任务
使用稍大的线程池,尽量配置多的线程,一般线程配置数量:CPU核心数 * 2。
这种任务CPU利用率不是很高,因此可以让CPU在等待IO的时候去处理别的任务。
-
混合型任务
任务分解成:CPU密集 和 IO密集 型任务,然后分别用不同规模线程池处理。
注意:只要分解后的两个任务执行时间相差不大,会比原来串行执行吞吐量高。
但是,如果相差时间不大,先执行完的任务 要等待 后执行完的任务,最终执行时间依然取决于 后执行完的任务,还要加上任务拆分、合并的开销,得不偿失。
-
-
优先级,可以使用优先级队列PriorityBlockingQueue来处理,它会让优先级高的任务先执行。
-
执行时间不同的任务,可以交给不同规模的线程池来处理,或使用优先级队列,让短任务先执行。
-
数据库依赖性任务,线程提交SQL等待数据库返回结果,等待时间越长,则CPU空闲时间越长。因此,可以将线程数量设置较大,能更好利用CPU。
使用线程池建议:建议使用有界队列,可以增加系统稳定性 和 预警能力。
3.5 线程池的监控
如果系统大量使用线程池,则有必要对线程池进行监控。
可以通过线程池提供的参数进行监控:
- taskCount:需要执行的任务数量
- completedTaskCount:已完成的任务数量
- largestPoolSize:线程池中曾经创建过的最大线程数量
- getPoolSize:线程池的线程数量,只增不减
- getActiveCount:获取活动的线程数量
也可继承线程池来自定义线程池进行监控,重写beforeExecute()
、afterExecute()
和terminated()
方法进行监控。