每天一例多线程[day16]-----Master-Worker模式

Master-Worker模式：常用于并行计算。

核心思想：系统由两类进行协作工作，Master进程和Worker进程。

Master负责接收和分配任务，Worker负责处理子任务。当各个worker子进程处理完成后，会将结果返回给master，由master做归纳和总结。其好处时能将一个大任务，分解为若干个小任务，并行执行，从而提高系统吞吐量。

举个例子：

由于施工需要，工地上源源不断有水泥运过来。工头（Master）负责接收一辆接一辆的卡车运来的水泥，堆砌在地上。由于时间紧急，天气要下雨，工头（Master）分配了10个小工（Worker）去处理这些水泥，于是很快水泥都被搬进了仓库。

代码：

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;

public class Master {

	//1 应该有一个承装任务的集合
	private ConcurrentLinkedQueue<Task> taskQueue = new ConcurrentLinkedQueue<Task>();
	
	//2 使用HashMap去承装所有的worker线程对象
	private HashMap<String, Thread> workerThreads = new HashMap<String, Thread>();
	
	//3 使用一个容器承装每一个worker并非执行任务的结果集
	private ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap<String, Object>();
	
	//4 构造方法
	public Master(Worker worker, int workerCount){
		// 每一个worker对象都需要有Master的引用 workQueue用于任务的领取，resultMap用于任务的提交
		worker.setWorkerQueue(this.taskQueue);
		worker.setResultMap(this.resultMap);
		for(int i = 0 ; i < workerCount; i++){
			//key表示每一个worker的名字, value表示线程执行对象
			workerThreads.put("子节点" + Integer.toString(i), new Thread(worker));
		}
	}
	
	//5 提交方法
	public void submit(Task task){
		this.taskQueue.add(task);
	}
	
	//6 需要有一个执行的方法（启动应用程序 让所有的worker线程工作）
	public void execute(){
		for(Map.Entry<String, Thread> me : workerThreads.entrySet()){
			me.getValue().start();
		}
	}

	//8 判断线程是否执行完毕
	public boolean isComplete() {
		for(Map.Entry<String, Thread> me : workerThreads.entrySet()){
			if(me.getValue().getState() != Thread.State.TERMINATED){
				return false;
			}
		}		
		return true;
	}

	//9 返回结果集数据
	public int getResult() {
		int ret = 0;
		for(Map.Entry<String, Object> me : resultMap.entrySet()){
			//汇总的逻辑..
			ret += (Integer)me.getValue();
		}
		return ret;
	}
	
	
}

注意：resultMap用来接收worker线程处理完的任务结果，必须使用ConcurrrentHashMap，否则多个worker线程

最后结果汇总会不正确。

public class Worker implements Runnable {

	private ConcurrentLinkedQueue<Task> taskQueue;
	private ConcurrentHashMap<String, Object> resultMap;
	
	public void setWorkerQueue(ConcurrentLinkedQueue<Task> taskQueue) {
		this.taskQueue = taskQueue;
	}

	public void setResultMap(ConcurrentHashMap<String, Object> resultMap) {
		this.resultMap = resultMap;
	}
	
	
	@Override
	public void run() {
		
		while(true){
			Task task = this.taskQueue.poll();
			if(task == null) break;
			//真正的去做业务处理
			Object output = MyWorker.handle(task);
			this.resultMap.put(Integer.toString(task.getId()), output);
		}
	}
	
	public static Object handle(Task input) {
		return null;
	}



}

public class MyWorker extends Worker {
	
	public static Object handle(Task input) {
		Object output = null;
		try {
			//表示处理task任务的耗时，可能是数据的加工，也可能是操作数据库...
			Thread.sleep(500);
			output = input.getPrice();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		return output;
	}
}

测试类：

public class Main {

	public static void main(String[] args) {
		System.out.println("我的机器可用Processor数量:" + Runtime.getRuntime().availableProcessors());
		//初始化一定数量的work线程
		Master master = new Master(new MyWorker(), 1000);
		//向workQueue中提交任务
//		Random r = new Random();
		for(int i = 1; i<= 100; i++){
			Task t = new Task();
			t.setId(i);
			t.setName("任务"+i);
			t.setPrice(i);
			master.submit(t);
		}
		master.execute();
		long start = System.currentTimeMillis();
		while(true){
			if(master.isComplete()){
				long end = System.currentTimeMillis() - start;
				int ret = master.getResult();
				System.out.println("最终结果：" + ret + "， 执行耗时：" + end);
				break;
			}
		}
		
	}
}

打印：

我的机器可用Processor数量:4
最终结果：5050， 执行耗时：426

虽然我的机器4核cpu，但是我直接创建了1000个线程，耗时400多秒。

注意一点是resultMap一定要用concurrentHashMap。

每天一例多线程[day16]-----Master-Worker模式

猜你喜欢