cloudera manager(CDH)实践

  cloudera manager 可以简化 Hadoop 的安装配置过程,自动在集群节点上安 装 hadoop 相关组件,创建用户,并管理各个组件服务。本手册以 cloudera manager 的 free 版本,以下 5 台机器为例安装 hadoop 集群: 192.168.106.36 192.168.106.37 192.168.106.38 192.168.106.39 192.168.106.40

 1.安装 cloudera manager

  1.1下载Cloudera Manager安装程序

 

    cloudera manager 主服务只需要安装在集群的主节点上,本集群主节点 为 192.168.106.36。通常安装 cloudera manager 只需从以下官网下载安装 文件(Cloudera-manager-installer.bin):

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

  1.2 运行Cloudera Manager安装程序 

  1. 更改 Cloudera的经理,installer.bin 拥有可执行权限:
    chmod u + x cloudera-manager-installer.bin
  2. 运行Cloudera Manager Server安装程序:
    sudo ./cloudera-manager-installer.bin

             

     ps:下载包很大,确保网速可以,如果不确定是否报错可以查看日志(时间很长,一个晚上不间断的安装)

tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log

cloudera-manager-daemons
x86_64 5.16.2-1.cm5162.p0.7.el6 cloudera-manager 767 M

Transaction Summary
================================================================================
Install 2 Package(s)

Total download size: 767 M
Installed size: 931 M
Downloading Packages:

  1.3 阅读并接受相关许可协议

  1. 阅读Cloudera Manager README,然后按Enter继续。
  2. 阅读Cloudera Express许可证,然后按Enter继续。使用箭头键并按Enter键选择是以确认。
  3. 阅读Oracle二进制代码许可协议,然后按Enter继续。使用箭头键并按 Enter键选择是以确认。
    安装程序执行以下任务:
    1. 安装Oracle JDK和Cloudera Manager存储库文件。
    2. 安装Cloudera Manager Server和嵌入式PostgreSQL包。
    3. 启动Cloudera Manager Server和嵌入式PostgreSQL数据库。

  注意:如果安装中断,您可能需要清理才能重新运行它。在Cloudera Manager Server主机上运行以下命令:

  sudo /usr/share/cmf/uninstall-cloudera-manager.sh

 2.启动并登录Cloudera Manager Admin Console

   Cloudera Manager Server URL(由上一步中的安装程序中会显示,记录即可)采用以下形式:

http://Server host:port

  其中服务器主机是安装Cloudera Manager Server的主机的完全限定域名(FQDN)或IP地址,port是为Cloudera Manager Server配置的端口。默认端口号为7180

  1. 在Web浏览器中,输入Cloudera Manager URL。将显示Cloudera Manager Admin Console的登录屏幕。

  

  1. 登录Cloudera Manager Admin Console。默认凭据为:
    • 用户名: admin

      Cloudera Manager不支持更改 管理默认帐户的用户名。但是,您可以添加新用户,为新用户分配管理权限,然后删除默认用户管理 帐户。

    • 密码: admin

      系统将要求您稍后在此过程中更改此密码。

  2. 登录后,将显示“ 最终用户许可条款和条件”页面。阅读条款和条件,然后选择接受它们。

  

  1. 单击继续欢迎的Cloudera管理器页面显示,您可以选择要安装的版本。您可以选择要安装的Cloudera Manager版本,也可以选择安装许可证:
  

  

  使用Cloudera Manager向导进行软件安装和配置(支持的功能列表)

  

  在Cloudera Manager中选择Cluster Hosts

  

  选择软件安装方法和安装软件

 

   

  选择安装Oracle Java SE Development Kit(JDK)以允许Cloudera Manager在每个群集主机上安装JDK。如果您已经安装了JDK,请不要选择此选项。

          

  启用单用户模式

   

  指定群集主机的SSH登录凭据:

  • 选择root或输入具有无密码sudo权限的帐户的用户名。

  • 选择身份验证方法:

    • 如果选择密码验证,请输入并确认密码。

    • 如果选择公钥验证,请提供所需密钥文件的密码和路径。

  • 您可以指定备用SSH端口。默认值为22。
  • 您可以指定一次运行的最大主机安装数。默认值为10。

  

  导入cdh程序包时总会一些奇怪的问题

  

  

  这种问题网上很多方式解决,但是没有办法解决我的这种问题,我只有换一种方式去尝试。当然所有技术选型都是在项目业务的允许下,问题基本原因找到后就换了一种简单组建替代了,这种方式内存和外存要求非常高,小公司需要满足这样的大规模集群的业务需要,还要经费支持的前提下在按照,建议按照apache的简易方式安装即可。

猜你喜欢

转载自www.cnblogs.com/zhikou/p/11158319.html