docker安装分布式hadoop

工作环境都是在多台服务器上安装hadoop集群的，但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的，但是虚拟机比较耗性能，其实可以使用docker去安装hadoop镜像，使用hadoop镜像也可以实现hadoop集群。

1、安装hadoop镜像

1）在docker中查找hadoop 镜像

docker search hadoop
在这里插入图片描述

2）拉取镜像

我们选择star数量最多的镜像拉取
docker pull docker.io/sequenceiq/hadoop-docker
或者也可以拉取阿里的hadoop镜像
docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop
在这里插入图片描述
查看镜像
docker images

3)创建hadoop容器

（1）创建master节点
docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-docker
参数说明:
-h 为容器设置主机名
–name 设置容器的名称
-d 在后台运行

（2）以此方法创建slave1和slave2节点
docker run --name hadoop2 -d -h slave1 docker.io/sequenceiq/hadoop-docker
docker run --name hadoop3 -d -h slave2 docker.io/sequenceiq/hadoop-docker
（3）查看容器
docker ps -s
在这里插入图片描述
（4）进入容器查看jdk
docker exec -it hadoop1 bash
jdk都已经自带了

（5）配置ssh生成秘钥，所有的节点都要配置
进入容器后
启动ssh
/etc/init.d/sshd start
生成秘钥
·ssh-keygen -t rsa
（5）分别进入每个节点，将其他节点的公钥也都复制到authorized_keys，也就是说每个>authorized_keys 文件中存储的公钥都是3个而且是一样的
将容器中的文件复制到centos本地
·docker cp 容器id/容器名称:/root/.ssh/authorized_keys /home/hadoop/authorized_keys_master 在这里插入图片描述
将centos本地的文件复制到容器
·docker cp /home/hadoop/authorized_keys 容器id/容器名称:/root/.ssh/authorized_keys

（6）分别为每个节点配置ip地址
进入容器，在此容器中可以直接使用ifconfig命令或者ip addr命令查看ip地址
在这里插入图片描述
为每个容器设置地址，vi /etc/hosts 配置

ssh master 测试一下，测试成功

2、配置hadoop(配置文件的目录一般都在/usr/local/hadoop-2.7.0/etc/hadoop下面)

1）配置hadoop-env.sh，配置jdk，在hadoop容器中已经帮我们配置好了

(1）进入容器查找 hadoop-env.sh存放位置

find / -name hadoop-env.sh
(2）查看 hadoop-env.sh文件
在这里插入图片描述

2）配置core-site.xml，配置hdfs的地址和端口号，在hadoop容器中已经帮我们配置好了

(1) 查找core-site.xml
find / -name core-site.xml 在这里插入图片描述
（2）加入配置，其实hadoop镜像已经帮我们配置好了

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
  </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/hadoop/tmp</value>
    </property>

在这里插入图片描述

3）配置hdfs-site.xml ，配置hdfs备份数量，在hadoop容器中已经帮我们配置好了

 <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

在这里插入图片描述
slave数量要大于等于备份的数量，否者会报错

4）配置 mapred-site.xml，指定MapReduce运行在yarn上，在hadoop容器中已经帮我们配置好了

find / -name mapred-site.xml

mapreduce.framework.name
yarn

在这里插入图片描述

5）配置yarn-site.xml，配置hdfs备份数量，在hadoop容器中已经帮我们配置好了

在这里插入图片描述
配置参数

6）将这些参数发送到其它节点

scp /usr/local/hadoop-2.7.0/etc/hadoop/yarn-site.xml slave1:/usr/local/hadoop-2.7.0/etc/hadoop/ 在这里插入图片描述

3、运行hadoop

1）在master上格式化namenode

cd /usr/local/hadoop-2.7.0/bin/
./hadoop namenode -format
在这里插入图片描述

2）在master上启动集群

cd /usr/local/hadoop-2.7.0/sbin/
./start-all.sh
如果报错告诉端口被占用
那么就先停止,然后再启动
./stop-all.sh
./start-all.sh
##### 3）jps 查看进程，查看到说明已启动
在这里插入图片描述