在docker容器中安装3/N个节点的hadoop伪分布式集群

1.首先安装CentOS7虚拟机。https://blog.csdn.net/qq_28358461/article/details/88686389
2.在虚拟机上执行 yum -y install docker 命令,安装docker容器
3. service docker start 启动docker
4. Hadoop集群创建单独的网络:
sudo docker network create --driver=bridge hadoop
5.sudo docker pull kiwenlau/hadoop:1.0 拉取github上得一个镜像
6.下载GitHub仓库 (yum install -y git 安装git插件)
git clone https://github.com/kiwenlau/hadoop-cluster-docker 项目代码
7. 运行docker 容器 cd hadoop-cluster-docker
./start-container.sh
运行结果:
start hadoop-master container…
start hadoop-slave1 container…
start hadoop-slave2 container…
root@hadoop-master:~#

8.启动hadoop ./start-hadoop.sh
9.运行wordcount
./run-wordcount.sh
运行结果
input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker 1
Hadoop 1
Hello 2
Hadoop网页管理地址:
• NameNode: http://192.168.10.161:50070/
• ResourceManager: http://192.168.10.161:8088/
192.168.59.1为运行容器的主机的IP。
10.N个节点得集群搭建步骤
10.1. 准备
参考第一部分4~6:下载Docker镜像,下载GitHub仓库,以及创建Hadoop网络

 10.2. 重新构建Docker镜像
          ./resize-cluster.sh 5
          可以指定任意N(N>1)
 10.3. 启动Docker容器
         ./start-container.sh 5
         与第10.2步中的N保持一致。
 10.4. 运行Hadoop
        参考第一部分8~9:启动Hadoop,并运行wordcount。

猜你喜欢

转载自blog.csdn.net/qq_28358461/article/details/88745979
今日推荐