spark-3.0.1 hadoop 2.10.1 安装记录

计划做一个s141~s146的分布式。

一、制作基本的docker

通过上面的dockerfile,应该可以得到最新的centos7.9的版本。

二、安装sshd

参考（0）安装 sshd 后，将docker 保存为 centos7-ssh

通过

三、安装jdk

四、安装 hadoop

安装完hadoop后，保留为centos7-ssh-hadoop

建立伪分布式，注意参考下面的（1）

配置hadoop配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

hadoop-env.sh里jdk环境不能错过，不然也会报错。

让集群之间在一个网内：

docker network create --subnet=192.168.30.0/24 hadoop-net

五、安装hadoop集群

  765  20201224-16:08:51: docker run -d --name centos1622 --network=hadoop-net --ip 192.168.30.146  -p 1622:22 -p50076:50070 -p8688:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  771  20201224-16:32:34: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142  -p 1622:22 -p50072:50070 -p8288:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  775  20201224-16:33:37: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142  -p 1222:22 -p50072:50070 -p8288:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  777  20201224-16:34:23: docker run -d --name centos1322 --network=hadoop-net --ip 192.168.30.143  -p 1322:22 -p50073:50070 -p8388:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  778  20201224-16:34:42: docker run -d --name centos1422 --network=hadoop-net --ip 192.168.30.144  -p 1422:22 -p50074:50070 -p8488:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  779  20201224-16:35:03: docker run -d --name centos1522 --network=hadoop-net --ip 192.168.30.145  -p 1522:22 -p50075:50070 -p8588:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init

因为每个docker 里的ssh的pub文件一样，

ssh-copy-id -i /root/.ssh/id_rsa.pub -p 1122 [email protected] docker制作前做了这样的操作，那么，宿主主机就可以到任意一台集群机器，ssh s14*,而不用输入密码；

同理s141本身对自己做过这样的操作后，那么克隆出来的s142~146之间就可以互访问，不用输入密码。因为他们的pub一样。

/root/.ssh/authorized_keys 里，有s141的pub就行了，因为各机都一样。这个操作省去了互相访问需要做ssh-copy-id的操作。