Spark编译 [ERROR] PermGen space -> [Help 1]

1、设置maven的内存使用

对于Apache 1.x,cloudera CDH发布版本和其他没有yarn的hadoop版本需要使用

# Apache Hadoop 1.2.1 
mvn -Dhadoop.version=1.2.1 -DskipTests clean package 
# Cloudera CDH 4.2.0 with MapReduce v1
 mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -DskipTests clean package 
# Apache Hadoop 0.23.x 
mvn -Phadoop-0.23 -Dhadoop.version=0.23.7 -DskipTests clean package
对于有yarn的版本,并且yarn版本和hadoop版本不同的话可以使用
yarn.version指定
指定格式:

3、支持hive和JDBC的编译

添加-Phive and Phive-thriftserver选项默认是编译hive 0.13.1版本

更多Spark相关教程见以下内容

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

猜你喜欢

转载自www.linuxidc.com/Linux/2016-10/135870.htm