之前写过一篇关于如何部署hadoop完全分布式集群，但是是在虚拟机中部署的，开三台虚拟机，电脑内存就占用的特别多，毕竟虚拟机比较占内存，而docker是一种操作系统级别的轻量级虚拟化技术，一个docker容器占用少量的内存，下面就详解部署hadoop分布式的步骤(我的是在阿里云服务器上部署的，系统是ubuntu)
1.首先要在ubuntu中安装docker,可以参考之前的博文Docker的不同安装方式，这里不再说明
2.首先做准备工作,创建一个容器将其配置好后作为基础镜像
docker run --name=hadoop -i -t ubuntu /bin/bash
将宿主机中的jdk和hadoop的压缩包传输到容器hadoop中(我这里的jdk是1.8的,hadoop是2.5.0的)
docker cp 宿主机中jdk压缩包的安装目录 hadoop:/opt/
设置环境变量
apt-get update
apt-get install vim
vi ~/.bashrc
在最后添加
export JAVA_HOME=/opt/jdk1.8.0_161
export PATH=${JAVA_HOME}/bin:$PATH
开启ssh服务
apt-get install openssh-server
vi /etc/ssh/sshd_config
在里面加入PermitRootLogin yes
保存并退出
开启ifconfig
apt-get install net-tools
然后按ctrl+p ctrl+q退出容器
最后将这个容器作为基础镜像提交到本地仓库
docker commit hadoop live
3.创建容器并在上面部署hadoop
集群的整体规划:
容器名 容器ip 开启的hadoop服务
hadoop1 172.17.0.3 namenode datanode nodemanager
hadoop2 172.17.0.4 datanode resourcemanager nodemanager
hadoop3 172.17.0.5 datanode nodemanager secondarynamenode historyserver
hadoop1
docker run --name=hadoop1 --hostname=hadoop1 -i -t -p 22 live /bin/bash
hadoop2
docker run --name=hadoop2 --hostname=hadoop2 -i -t -p 22 live /bin/bashhadoop3
docker run --name=hadoop3 --hostname=hadoop3 -i -t -p 22 live /bin/bash
这里的容器ip要设置为静态的，即不变的
下载pipework:点击下载
把下载的zip包传到宿主机上，解压，修改名字
unzip pipework-master.zip
mv pipework-master pipework
安装bridge-utils
apt-get install bridge-utils
给容器设置固定ip
pipework docker0 hadoop1 172.17.0.3/24
pipework docker0 hadoop2 172.17.0.4/24
pipework docker0 hadoop3 172.17.0.5/24
上边的ip地址要跟宿主机的docker0在同一个网段下,使用ifconfig查看docker0网段的网址
在hadoop1,hadoop2,hadoop3中添加hosts
vi /etc/hosts
172.17.0.3 hadoop1
172.17.0.4 hadoop2
172.17.0.5 hadoop3
在hadoop1中配置hadoop的配置文件
core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://172.17.0.3:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
hdfs-site.xml:
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>172.17.0.5:50090</value>
</property>
slave:
172.17.0.3
172.17.0.4
172.17.0.5
mapred-site.xml:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name> yarn.resourcemanager.hostname</name>
<value>172.17.0.4</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
将hadoop-env.sh mapred-env.sh yarn-env.sh 这三个文件中的jdk的目录修改为/opt/jdk1.8.0_161
4.通过scp将hadoop传输给两外两个容器
配置ssh
在hadoop1中:
ssh-keygen -t rsa
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
重启ssh服务
/etc/init.d/ssh restart
在hadoop2中重复hadoop1中的工作
并在hadoop3中重启ssh服务
5.启动hadoop集群
进入hadoop1
docker attach hadoop1
cd /opt/hadoop-2.5.0
初始化hdfs
bin/hdfs namenode -format
启动各个服务
hadoop1:
sbin/start-dfs.sh
hadoop2:
sbin/start-yarn.sh
hadoop3:
sbin/mr-jobhistory-daemon.sh start historyserver
最后在hadoop1上进行wordcount测试,看map和reduce是否能正常运行