Hadoop环境搭建(5)

ssh免密登录

1、在每个节点生成公钥和私钥,并拷贝

Hadoop100:生成公钥和私钥

[root@hadoop100] ssh-keygen -t rsa

然后敲(三个回车)

将公钥拷贝到要免密登录的目标机器上

[root@hadoop100] ssh-copy-id hadoop100

[root@hadoop100] ssh-copy-id hadoop101

[root@hadoop100] ssh-copy-id hadoop102

Hadoop101:生成公钥和私钥

[root@hadoop101] ssh-keygen -t rsa

然后敲(三个回车)

将公钥拷贝到要免密登录的目标机器上

[root@hadoop101] ssh-copy-id hadoop100

[root@hadoop101] ssh-copy-id hadoop101

[root@hadoop101] ssh-copy-id hadoop102

Hadoop102:  生成公钥和私钥

[root@hadoop102] ssh-keygen -t rsa

然后敲(三个回车)

将公钥拷贝到要免密登录的目标机器上

[root@hadoop102] ssh-copy-id hadoop100

[root@hadoop102] ssh-copy-id hadoop101

[root@hadoop102] ssh-copy-id hadoop102

2、修改hadoop配置文件

 在hadoop100上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据

[root@hadoop100] cd /opt/module/hadoop-3.1.3/sbin

[root@hadoop100] vi start-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[root@hadoop100] vi stop-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

        

         在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据

[root@hadoop100] vi start-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

[root@hadoop100] vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

         在hadoop100上修改workers:

[root@hadoop100] cd /opt/module/hadoop-3.1.3/etc/hadoop

[root@hadoop100] vi workers

hadoop100

hadoop101

hadoop102

         把上面的修改同步到hadoop101、hadoop102上:

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop101:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop102:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop101:/opt/module/hadoop-3.1.3/etc/hadoop/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop102:/opt/module/hadoop-3.1.3/etc/hadoop/

启动集群:

如果集群上已经启动hadoop相关程序,可以先执行停止。

在hadoop100上执行以下脚本,用来启动hdfs:

[root@hadoop100] start-dfs.sh

在hadoop101上执行以下脚本,用来启动yarn:

[root@hadoop101] start-yarn.sh

停止集群:

在hadoop100上执行以下脚本,用来停止hdfs:

[root@hadoop100] stop-dfs.sh

在hadoop101上执行以下脚本,用来停止yarn:

[root@hadoop101] stop-yarn.sh

おすすめ

転載: blog.csdn.net/Gaxxxx/article/details/121922491