Spark 下载: 目前在官方网站上，build好的Spark 有hadoop2.6, hadoop2.7，hadoop版本按需选择
Spark 环境依赖: scala 2.11.x
Spark资源调度有两种选择(实际生产部署)
1 yarn
2 mesos,当实际生产环境部署spark，需要升级原来的hadoop时(存在风险)，
这时可以考虑使用messos.
配置spark-env.sh
JAVA_HOME
SCALA_HOME
SPARK_MASTER_HOST
SPARK_MASTER_PORT
SPARK_CONF_DIR
SPARK_MASTER_WEBUI_PORT
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=
SPARK_WORKER_WEBUI_PORT
有些可以使用默认的配置,
使用yarn请配置: HADOOP_HOME, HADOOP_CONF_DIR
在slaves中配置work节点
启动spark集群服务:
sbin/start-all.sh