CDH高可用hadoop集群性能配置

---

---

1、HDFS的高可用配置

dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。

dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在节点的目录，存放editlog和其他信息。

               

               

                 

                   

扫描二维码关注公众号，回复： 7175353 查看本文章

                  

                   

2、YARN的高可用配置

在使用 yarn HA时，运行 hive on yarn 的任务无法得出结果时，并且出现以下错误

Caused by:javax.servlet.ServletException: Could not determine the proxy server for redirection

问题：无法确定用于重定向的代理服务器

解决：禁用 YARN HA，即ResourceManager只使用一个主节点，其实一般yarn HA仍然能运行 hive on yarn 的任务并且能得出正常结果，但是还是会报出同样错误

                   

                   

                  

                    

当前运行的环境是 YARN HA(node1、node2均部署了ResourceManager)的情况下，执行 hive on spark 的程序，虽然能得出正常执行成功得出结果，

但是对应该程序的日志信息仍然报错：无法确定用于重定向的代理服务器 Could not determine the proxy server for redirection。

select * from test_tb;

select count(*) from test_tb;

insert into test_tb values(2,'ushionagisa');