使用DaoCloud部署Hadoop2.7.2分布式集群

使用DaoCloud部署Hadoop2.7.2分布式集群

此博客紧接上一篇博客Ubuntu16.04安装DCE2.6(开发者版本) ,想要使用DaoCloud部署Hadoop2.7.2分布式集群,可以先参考Ubuntu16.04安装DCE2.6(开发者版本),配置好DaoCloud。

  • 1. 点击网络--> 创建 ,提前创建好新的集群的网络

    官方文档:创建网络
    自己创建了一个名为hadoop的网络:
    这里写图片描述

  • 2. 使用一键部署功能,实现Hadoop2.7.2集群部署

    官方文档: 应用部署 ,以及 一键部署

① 点击应用--> 部署应用,在弹出的窗口中选择一键部署,点击继续
这里写图片描述

② 在搜索框中输入hadoop,出现四个应用模板,选择hadoop-cluster 模板。
这里写图片描述

③ 完善应用信息,设置应用名称为hadoop-cluster0 ,bd0网络选择刚刚创建的hadoop 网络。
这里写图片描述

④ 通过步骤③ ,将会生成一张可视化编排图。
这里写图片描述

⑤ 点击检查镜像并部署,最终Hadoop2.7.2分布式集群部署成功!在应用中,可以通过应用名称hadoop-cluster0,查看具体信息。
这里写图片描述

  • 3. 为namenode、datanode等开放相应端口
    新搭建的Hadoop集群中,共有四种节点:namenode、datanode、nodemanager、resourcemanager,需要为这些节点开放Hadoop集群默认的端口。
    Hadoop2.x的常用默认端口,可以参考:hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

    ① 开放datanode的相应端口

    通过查看默认端口,这里决定配置两个端口:

节点 默认端口 配置 用途说明
DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输
DataNode 50075 dfs.datanode.http.address http服务的端口

点击hadoop-cluster_datanode-->侧滑框中的“配置”-->网络-->添加容器端口 ,根据上表为datanode添加相应的端口。
这里写图片描述

其中50075端口,是可以通过浏览器访问的端口。关闭侧滑框,可以看到hadoop-cluster_datanode 下方有两个端口映射,点击50075那个端口映射,可以看到访问该端口的路径
这里写图片描述
点击http://192.168.202.31:50075/,可以通过浏览器访问位于192.168.202.31主机上的datanode节点:
这里写图片描述

② 开放namenode的相应端口

通过查看默认端口,这里决定配置两个端口:

节点 默认端口 配置 用途说明
NameNode 50070 dfs.namenode.http-address http服务的端口
NameNode 8020 fs.defaultFS 接收Client连接的RPC端口,用于获取文件系统metadata信息。

配置方法同datanode,不再一一叙述!

③ 开放ResourceManager的相应端口

节点 默认端口 配置 用途说明
ResourceManager 8088 yarn.resourcemanager.webapp.address http服务的端口

④ 开放ResourceManager的相应端口

节点 默认端口 配置 用途说明
NodeManager 8042 yarn.nodemanager.webapp.address http服务端口

猜你喜欢

转载自blog.csdn.net/u014454538/article/details/81038508