1Hadoopサポートの圧縮方法を確認します

hdfs構成コンソールコレクション：io.compression.codecs
ここに画像の説明を挿入
はLzopCodecメソッドなしで表示できます

CDHはデフォルトでLzo圧縮エンコーディングをサポートしていません。HDFS、Hive、SparkなどのHadoop関連コンポーネントがLzoエンコーディングをサポートできるようにするには、追加のParcelパッケージをダウンロードする必要があります。

2LzoCodecとLzopCodecの違い

LzoCodec和LzopCodec区别
两种压缩编码LzoCodec和LzopCodec区别：
    1. LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息。
    2. LzoCodec作为Reduce输出，结果文件扩展名为 ”.lzo_deflate” ，无法被lzop读取；使用LzopCodec作为Reduce输出，生成扩展名为 ”.lzo” 的文件，可被lzop读取。
    3. LzoCodec结果（.lzo_deflate文件) 不能由 lzo index job 的 "DistributedLzoIndexer" 创建index。
    4. “.lzo_deflate” 文件不能作为MapReduce输入。而这些 “.LZO” 文件都支持。
        综上所述，map输出的中间结果使用LzoCodec，reduce输出使用 LzopCodec。
 另外：org.apache.hadoop.io.compress.LzoCodec和com.hadoop.compression.lzo.LzoCodec功能一样，都是源码包中带的，生成的都是 lzo_deflate 文件。

3オンラインでParcelにLzoをインストールします

3.1ダウンロードリンク：6.xxを対応するバージョンに変更します

CDH6：https：
//archive.cloudera.com/gplextras6/6.xx/parcels/私のバージョンはCDH6.3.1なので、ダウンロードアドレスは
https://archive.cloudera.com/gplextras6/6.3.1/parcels /
In CDHのパーセル構成である「リモートパーセルリポジトリURL」で、「+」記号をクリックしてアドレスバーを追加します。
ここに画像の説明を挿入
パーセルリストに戻るまでに時間がかかる場合があります。外国のWebサイトでは遅延が発生する可能性があるため、GPLEXTRASが表示されます。ネットワーク接続

3.2ダウンロード

クリック：ダウンロード
ここに画像の説明を挿入
割り当て

アク

ティベーションアクティベーション成功

3.3HDFSに圧縮コーデックを追加する

hdfs構成コンソール：io.compression.codecs
ここに画像の説明を挿入
「+」をクリックして追加します。

com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec

ここに画像の説明を挿入

3.4 YARN構成は、GPLEXTRASの下でパッケージを自動的にロードします

①インストールしたGPLEXTRASディレクトリを探す

/ opt / cloudera / parcels / GPLEXTRAS / lib / hadoop / lib
ここに画像の説明を挿入

②毛糸

収索：mapreduce.application.classpath
ここに画像の説明を挿入

②/ opt / cloudera / parcels / GPLEXTRAS / lib / hadoop / lib / *を追加します