CDH6安装Lzo

Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。
使用的版本是Centos7.3，CDH6.0.1。

查看Hadoop支持的压缩格式

hadoop checknative

在线Parcel安装Lzo

下载地址：修改6.x.y为对应版本
 
CDH6：https://archive.cloudera.com/gplextras6/6.x.y/parcels/ 
 
CDH5：https://archive.cloudera.com/gplextras5/parcels/5.x.y/

1. 在CDH的 Parcel 配置中，“远程Parcel存储库URL”，点击 “+” 号，添加地址栏：

    CDH6：https://archive.cloudera.com/gplextras6/6.0.1/parcels/
 
    CDH5：http://archive.cloudera.com/gplextras/parcels/latest/

其他离线方式：

下载parcel放到 /opt/cloudera/parcel-repo 目录下

或者

搭建httpd，更改parcel URL地址，再在按远程安装

2.返回Parcel列表，延迟几秒后会看到多出了 GPLEXTRAS（CDH6） 或者 HADOOP_LZO （CDH5），

下载 – 分配 – 激活。

3. 安装完LZO后，打开HDFS配置，找到“压缩编码解码器”，点击 “+” 号，

添加：

com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec

4.YARN配置，找到 “MR 应用程序 Classpath”（mapreduce.application.classpath）

添加：
/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

5. 重启更新过期配置