spark调优1

1 使用Kryo自定义序列化：kryo的性能和压缩率都比java默认的序列化算法高10倍以上,如下为使用方法，如果声明RDD为A类或者B类，在shuffle中会提升运行速度

sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

sparkConf.set("spark.kryo.registrator", KryoRegistrator.class.getName());

public class KryoRegistrator implements KryoRegistrator {
    @Override
    public void registerClasses(Kryo kryo) {
        kryo.register(A.class);
        kryo.register(B.class);
    }
}

2