Hadoop MapReduce序列化

序列化是干啥用的？

序列化的原本意图是希望对一个Java对象作一下“变换”，变成字节序列，这样一来方便持久化存储到磁盘，避免程序运行结束后对象就从内存里消失，另外变换成字节序列也更便于网络运输和传播，所以概念上很好理解：

1. 序列化：把Java对象转换为字节序列。
2. 反序列化：把字节序列恢复为原先的Java对象。

如果MapReduce是在集群上工作时，Map和Reduce可能在不同的服务器上，则从Map的服务器传数据到Reduce的服务器这一过程中，数据都是以字节为单位传输的，所以所有的数据都必须能够序列化为字节，则MapReduce这一过程需要能够序列化与反序列化。

为什么不用Java序列化？因为java序列化是一个重量级框架（serializable）,在信息传输过程中会带有很多附加信息（如header，校验信息，继承体系），不便于在网络中高效传输。所以hadoop开发了自己的序列化机制（Writable）

序列化示范：
在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。
具体实现bean对象序列化步骤如下7步。
（1）必须实现Writable接口
（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造

public FlowBean() {
    
    
	super();
}

（3）重写序列化方法

@Override
public void write(DataOutput out) throws IOException {
    
    
	out.writeLong(upFlow);
	out.writeLong(downFlow);
	out.writeLong(sumFlow);
}

（4）重写反序列化方法

@Override
public void readFields(DataInput in) throws IOException {
    
    
	upFlow = in.readLong();
	downFlow = in.readLong();
	sumFlow = in.readLong();
}

（5）注意反序列化的顺序和序列化的顺序完全一致
（6）要想把结果显示在文件中，需要在FlowBean类里重写toString()
（7）如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。详见后面排序案例。

@Override
public int compareTo(FlowBean o) {
    
    
	// 倒序排列，从大到小
	return -this.sumFlow - o.getSumFlow();
}