原创抢鲜教程:快用Cloudera SCM Express管理你的hadoop集群吧

Cloudera SCM Express简介:

Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,该公司最近发布了Cloudera SCM Express,该软件让任何人都能快速、轻松地安装和配置基于Apache Hadoop的完整堆栈。

Cloudera SCM Express能帮助部署,配置和管理一系列的Apache Hadoop服务,并允许所有人去开发和集中管理一个超过50个节点的完整的Apache Hadoop集群。这款免费软件支持自动安装和配置,将部署时间从数周减少到几分钟,并提供群集范围的,实时的对节点和服务的监控。

 

下载

https://ccp.cloudera.com/display/SUPPORT/Downloads

下载文件完成后,你会得到一个名为“scm-installer.bin”的文件。

安装

系统要求(必须是64为操作系统): 

Red Hat Enterprise Linux 5  Linux 6 、CentOS 5

SUSE Linux Enterprise Server 11

安装命令:

chmod u+x scm-installer.bin

sudo ./scm-installer.bin

这时将打开安装图形界面,会联网安装JDK(如果没有安装的话), SCM Server、PostgreSQL数据库

安装过程结束后,打开浏览器,开始在线安装、管理Hadoop了,用户名密码,默认为:admin/admin

后面几个页面会要求输出管理机器列表、机器用户名密码等,我就略过了,大家可以在最下面的官方参考URL里查看。

我遇到的问题:

  1. 下载软件包的时候总是因为timeout而失败,解决办法:在server上多添加几个DNS IP
  2. 在启动SCM Agent 的时候失败,原因是我机器多IP导致的,解决办法:在/etc/hosts里面设置好机器名与IP对应关系就OK了。这个问题花了好大功夫才解决,在官方的user group里面有类似情况,帖子地址为:https://groups.google.com/a/cloudera.org/group/scm-users/browse_thread/thread/a72d2452cb307d6c

安装完软件是下面的图片(官方摘录),虽然过程比较慢,但这感觉太爽了。


 

9.9日遇到在选择Servive后报空指针错误,之后我还和cloudera工程师沟通,他们怀疑是磁盘不一致导致的,然后他们就放周末了,我等不及了,研究了下这个项目,项目的安装路径在“/usr/share/cmf/”,项目的class被打包到lib里面的jar包,仔细查看发现“server-3.6.1.1.jar”这个是我需要的类(页面上报相关类空指针),反编译后,反复调试找到问题行,取了个巧跳过了问题,终于继续前进了,不过cloudera的工程师还是很敬业的,回复很快,不过我们不是一个时区。。。。另外:hadoop被安装到了“/usr/lib/hadoop-0.20

其它几步我安装很顺利,9.11当天终于全部配置成功,而且看到了大名鼎鼎的HUE,给大家看看图片:




 

 

下周需要做一个hadop项目,就用它做管理了,太棒了。

-- 未完 --

猜你喜欢

转载自heipark.iteye.com/blog/1169327
SCM
今日推荐