Linuxのハイブのパフォーマンスの最適化の下では(個人)

更新日2020年1月3日

MRの//オープンローカル
SET = trueにhive.exec.mode.local.auto、
入力データの//セット局所MR最大量、入力データは以下この値より、デフォルトが134217728である場合、ローカルのMR方法を用いて、すなわち、128M
SET = 50000000 hive.exec.mode.local.auto.inputbytes.max;
//入力の最大数は、入力ファイルの数が少なく、この値は、デフォルトよりも大きいときに、ローカルのMR方法を使用して、ローカルMRをファイルセット4。
セットhive.exec = 10 .mode.local.auto.input.files.max;
タスクの//オープン並列実行
hive.exec.parallelがtrue =設定;
//同じSQLスレッドの最大数は、同時タスクが許可
hive.exec.parallel.threadセット= 8 .NUMBER;
// hive.exec.reducers.bytes.per.reducerパラメータ調整値(500メガバイト)
のSET hive.exec.reducers.bytes.per.reducer =5億;
//減らすの数を調整
SETのmapred.reduceを=番号.tasks;
小接続大きなテーブルのテーブル//
= hive.auto.convert.join TRUEに設定;
//セット入力マップファイルマージ小さな
セットmapred.max.split.size = 256000000。
//サイズの少なくとも一つのノードに分割(この値は、複数のファイルがマージされたデータノードであることが必要か否かを判断する)
のSET mapred.min.split.size.per.node = 100000000;
少なくとも分割サイズ//スイッチ(この値は、複数のスイッチ上のファイルをマージする必要があるかどうかを決定する)
; SET mapred.min.split.size.per.rack = 100000000
小さなファイル合併前の地図//実行
セットhive.input.format = org.apache。 hadoop.hive.ql.io.CombineHiveInputFormat;

おすすめ

転載: www.cnblogs.com/suhaohao/p/12144219.html