Hadoop数据类型和序列化

Hadoop中的java基本类型都是通过实现Writeable接口:BooleanWirteable,ByteWirteable,IntWirteable,

                    VintWirteable,FloatWirteable,LongWirteable,DoubleWirteable。

Hadoop序列化机制和Java的不同,java序列化是不断创建对象,Hadoop将对象序列化到流中,用户可以复用对象,这样减少了Java对象的分配和回收,提高了效率。

序列化(serialization):把结构化的对象转化为字节流,便于在网络上传输或写到磁盘进行永久存储。

反序列化(Deserization):把字节流转化为结构化对象

Hadoop序列化的特点与作用:

     紧凑:高效的使用存储空间

     快速:读写数据的额外开销小

     可扩展:可透明地读取老格式的数据

     互操作:支持多语言的交互

      ----------------------------------------------

     序列化在分布式环境中的两大作用:进程间通信,永久存储

      Hadoop节点通信

猜你喜欢

转载自blog.csdn.net/qq_25948717/article/details/82530517