Spark_standalone集群

standalone集群:
主从架构:Master-servers结构
Spark应用架构组成:
driver Program + Executors
driver Program:应用管理者;
Executors:线程池;一个worker中有一个Executor，每个Executor可以执行多个Job任务，
每个Job任务能被分成多个Task去放到不同 Executor去执行
也就是说 task是最小的执行单位
Historyserver:无论在哪台节点下开启 都能读取hdfs的日志

启动服务进程:
启动Master
启动Worker
启动Historyserver
/export/server/spark/sbin/start-master.sh (8080端口)
/export/server/spark/sbin/start-slaves.sh
/export/server/spark/sbin/start-history-server.sh（18080端口）