1、设置maven的内存使用
对于Apache 1.x,cloudera CDH发布版本和其他没有yarn的hadoop版本需要使用
# Apache Hadoop 1.2.1
mvn -Dhadoop.version=1.2.1 -DskipTests clean package
# Cloudera CDH 4.2.0 with MapReduce v1
mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -DskipTests clean package
# Apache Hadoop 0.23.x
mvn -Phadoop-0.23 -Dhadoop.version=0.23.7 -DskipTests clean package
对于有yarn的版本,并且yarn版本和hadoop版本不同的话可以使用
yarn.version指定
指定格式:
3、支持hive和JDBC的编译
添加-Phive and Phive-thriftserver选项默认是编译hive 0.13.1版本
更多Spark相关教程见以下内容: