hadoop client机作为集群的堡垒机使用,使得集群环境和开发环境分离开来
选择集群外的一台机器,搭建client机,流程如下:
(1)配置单向(master可以ssh到client,client不可以ssh到master)ssh免登陆, 把master的id_rsa.pub内容添加到client机器的authorized_keys中
(2)修改client机器的 /etc/hosts 文件,添加master节点的ip和hostname
(3)把master节点的hadoop包scp到client机
(4)修改client机器的 /etc/profile 文件,添加HADOOP_HOME
(5)修改core-site.xml文件,其中 master_host:port 是NN的地址
<property> <name>fs.defaultFS</name> <value>hdfs://master_host:port</value> </property>
例如:
(6)测试是否成功