GZIP、BZIP2、LZO、きびきびとHadoopのが、より一般的なファイル圧縮形式である、あなたは、ハードドライブのストレージを大幅に節約することができ、以下の利点と欠点と使用シナリオをgzip、bzip2のある、LZOスナッピー4つの方法
Gzipで
利点：
1.圧縮解凍速度と圧縮率、Hadoopのサポート自体
2.簡単に圧縮されたファイルを処理し、同じテキストとの契約
3.システムが使いやすく、ほとんどのLinuxコマンドgzipは付属しています
短所：
セクションをサポートしていません。
使用シナリオ：
1. 130M（唯一の欠点は、gzipはスライスではないため）圧縮ファイル（ブロックサイズ）内に、gzip圧縮を使用することができます
2.概要：使用せずにセクション
BZIP2
利点：
1.圧縮比（gzipはより高いです）
2.スライスしたことができます
3.hadoopは使いやすいが付属しています
短所：
圧縮と解凍スピードスーパースロー
使用シナリオ：
例えば、ケース1には、バックアップの歴史は、圧縮率が、圧縮率の要件、バックアップファイルを必要としません。
（あまり伸張/圧縮の場合）より少ない大出力文書2は、処理されたデータは、データディスクストレージ以降のユースケースを小さくする必要があります
単一の大きなファイル圧縮3.は、ディスク容量を減らしたい、そしてケースの前にアプリケーションと互換性があります
4.まとめ：圧縮および解凍速度が要求されない場合には
LZO-
利点：
1.高速圧縮および解凍、圧縮比であってもよいです
2.サポートHadoopのスライスは、より一般的な圧縮形式であります
図3は、便利LZOコマンドのLinuxで実装してもよいです
短所：
いくつかの1つの圧縮比は、GZIPよりも低く
、あなたが自分自身をインストールする必要があり、それ自身がサポートしていない2.hadoop
ホームLZO形式として指定されたのInputFormatへのインデックス付けの必要性をサポートするためにいくつかの特別な処理3. LZOファイル形式（分割を行う必要があるが、また、[特別]
使用シナリオ：
圧縮ファイルの更なる利点後1. 200Mよりも大きい、より大きなファイル、より明白LZO
2.（理由は、単純な、4、圧縮のみBZIP2、Gzipでサポートスライス、BZIP2あなたが知っている、低速泥棒である、唯一の特定のシーンのために、LZOは、より頻繁に使用されているので）
3.概要：圧縮ファイルの下の状況のニーズのかなり大きなスライスが推奨されます
スナッピー
利点：
高圧縮と解凍スピード、圧縮比も可能
短所：
1.スライスすることはできません
2.圧縮比は、GZIPよりも小さいです
インストールする必要性をサポートしていない自分自身を3.hadoop
使用シナリオ：
1.場合、出力段の比較的大きなデータMapeduce地図中間データは、圧縮形式として地図を低減する場合
入力、出力及び他のジョブのMapReduce AのMapReduce 2.
3.概要：圧縮比をスライスすることができないので、非常に良好ではないので、一般にはスナッピースナッピー圧縮率よりも、入力ファイル圧縮gzipとLZOとして使用することができるLZOよりも高いです
要約：
圧縮率：スナッピー> GZIP> LZO> BZIP2
サポートセクション：BZIP2 LZO
圧縮率：BZIP2>にGZip> LZO>スナッピー
特集：LZOスナッピーは、あなたがそれを自分とインデックスにLZOの必要性をインストールする必要があり、それ自身がサポートしていないのHadoop
さまざまなコメントや追加の
圧縮率：てきぱきと圧縮率がLZO、ブロガーよりも高く、企業が両方LZOてきぱき圧縮形式を使用しています。ブロガー会社1.5Tの毎日のデータ、LZO圧縮を通過した後、600グラムに維持することができます- 700グラムの間、唯一の300グラムの後しかし、てきぱきと圧縮形式- 400グラム、ほぼ倍LZO。
----------------
免責事項：この記事はCSDNブロガー「bm8836900の元記事である、CC 4.0 BY-SAの著作権契約書に従ってください、複製、元のソースのリンクと、この文を添付してください。 。
オリジナルリンクします。https：//blog.csdn.net/bm8836900/article/details/87913861