Hive 常用的参数优化-- 部分优化参数--可以参考

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xingyue0422/article/details/88188948

set  mapred.job.queue.name=xxx;    说明:  xxx 表示队列名称
set hive.cli.print.header=true;            开启表头打印

--简单查询不启用MR
--set hive.limit.optimize.enable=true;         
--set hive.exec.mode.local.auto=true;
--set hive.fetch.task.conversion=more;

--增大内存，防止内存溢出
set mapreduce.reduce.java.opts=-Xmx8192m;
set mapreduce.map.java.opts=-Xmx8192m;
set mapreduce.map.memory.mb=8192;
set mapreduce.reduce.memory.mb=8192;

--启用动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.exec.max.dynamic.partitions=10000;
 

--对处理后的数据进行格式压缩。

set hive.exec.compress.output=true; 
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;