Tez引擎安装参考及注意事项

1 曲折经历

原先的各软件hadoop版本:2.7.2,tez版本:0.9.1,hive版本:1.2.1,tez的版本和hive版本、hadoop的版本是适配的,选型要注意。使用上述版本中间遇到了tez运行阻塞、打开session会话时间超长也无法连接的问题,yarn队列一直在Running,调试多天后仍然无法解决,遂换一个思路,将hive的版本改成了2.3.8,问题解决。
tez安装好后和yarn、MapReduce调优也是一件麻烦事儿。

2 参考文章及注意事项

1、这两篇文章主要讲的是安装Tez后yarn-site.xmltez-site.xml的配置
1)Tez学习笔记-UI安装部署
2)Tez 0.9安装部署+hive on tez配置 + Tez-UI
注意yarn-site.xml中yarn.timeline-service.hostname的配置value要和本文件中yarn.resourcemanager.hostname的value配置的一样。
3)hive tez调优(3)
4)hive on tez集成完整采坑指南(含tez-ui及安全环境)
5)Hive集成Tez引擎跑任务出现的问题
6)hive配置tez引擎(排除所有情况bug)
7)hive3编译 on tez+tez-ui配置和遇到的兼容问题与踩坑记录
8)Hive更换TEZ引擎

3 Hive、Tez、Yarn优化参数参考

9)Hive、Tez、Yarn资源问题总结以及优化参数
10)MapReduce内存调优
11)MapReduce作业在YARN的内存分配设置
12)YARN 优化
13)MapReduce On Yarn的配置详解和日常维护
14)yarn内存cpu的分配
15)YARN的内存和CPU配置
16)Hive提交到yarn的任务一直在running问题排查
17)Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
18)Hadoop相关问题解决
19)TEZ UI界面一直处于LOADING
注意:上篇是付费文章。其实出现这种问题就是yarn-site.xml、tez-site.xml或者hive-site.xml配置有问题。
20)Tez UI界面一直处于loading
21)Hadoop3.2.0 YARN Timeline Service
22)hive on tez
23)HIVE执行引擎TEZ学习以及实际使用
24)hadoop tez 结合搭建以及测试异常解决
25)Tez安装整体过程以及各节点的配置
26)在beeline中指定hive(执行引擎是tez)队列
关键在最后一句话:既可以通过mapreduce.job.queuename=adx为mr指定队列又可以为tez指定队列
27)hive 设置队列
28)Hive常用交互命令&属性配置
29)Yarn【架构、原理、多队列配置】
30)Yarn 配置多队列容量调度器
31)Hadoop(五)Yarn如何配置多队列提交(入门必看)

猜你喜欢

转载自blog.csdn.net/u010250240/article/details/113928069