CDH集群修改/设置hive的动态分区(dynamic)相关参数

1、集群环境
CDH 6.2.1

hive版本 2.1.1

2、设置参数

开启客户端显示数据的字段信息

hive.cli.print.header=true

开启显示当前库的名称

hive.cli.print.current.db =true

开启动态分区

set hive.exec.dynamic.partition=true;

开启非严格模式

set hive.exec.dynamic.partition.mode=nonstrick;

进行动态分区写入数据时一次运行最大生成多少个分区

set hive.exec.max.dynamic.partitions.pernode=10000;

set hive.exec.max.dynamic.partitions=100000;

进行动态分区写入数据时一次最多生成多少个文件

set hive.exec.max.created.files=150000;

在Map-only的任务结束时合并小文件

set hive.merge.mapfiles=true;

在Map-Reduce的任务结束时合并小文件

set hive.merge.mapredfiles = true;

3、由于cdh,hive中没有的对应的参数选项,需要通过高级设置完成这些项目的修改

  • 在hive组件的配置选项搜索hive-site

在这里插入图片描述

找到 **hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)**这个自定义文档选项,添加对应的key-value保存并重新启动hive即刻生效。
在这里插入图片描述
4.显示库名
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/summer089089/article/details/106790593
今日推荐