CDH 安装hadoop 集群中的一些问题归纳--- 持续更新

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xingyue0422/article/details/85601726

             最近自己在研究CDH 安装Hadoop集群,CDH 集群的好处就是可以不用手工修改大量的配置文件,然后去分发到所有的机器中,节省大量的人力和时间。效率比较高,一般配合CM 的图形界面来完成所有操作,包括集群的扩展与服务的升级,重启等都可以使用cloudera-manager 来完成。官方也推荐安装的时候通过cm 来部署cdh 集群,而且cm 还自带了一些简单的监控功能,比如对集群中的IO 状态,CPU负载,磁盘和内存的监控,虽然功能不是很强大,没有专门的监控工具( ganglia, zabbix,nagios等) 强大,也可以看一些基本概况,还是不错的哦。当然,如果对于集群的监控有严格要求,需要看详细参数,需要告警机制等可以结合专业的监控工具来完成。

            下面简单介绍一下cdh 中遇到的问题。

1. 安装cdh时, spark会读取java路径,而且是从默认的 /usr/share/java下读取。如果没有这个目录就会报错,可能很多朋友都遇到过,在这个地方困扰了很久。 如果没有这个目录,就手动创建好。 然后把MySQL的jdbc.jar 包移动到这个目录下。

2. 安装cdh时,jdbc的jar 包需要重命名一下,就是去除掉版本号。否则会无法识别的,导致数据库连接异常。

3. 安装cdh时,我们会手动创建一个虚拟用户  cloudera-scm ; 这个 用户的作用是为了保证parcel-repo, 和clouder-manager 的所有权,以及cm在执行初始化时执行初始化数据库的脚本要使用这个虚拟用户的。 很重要。

4. 安装cdh 时,在数据库连接测试时,hue 测试失败,无法连接报错: Unable to verify database connection ;

   原因是缺失mysql 的依赖包: 请手动安装一下:  mysql-community-libs-compat 包,安装完成再次测试即可解决。

5. 可能很多朋友想知道,安装cdh后,不想原生apache 版本那样,很多配置文件需要修改。cdh的配置文件没有吗,在哪里修改呢?

 在此说明一下:

6.  Hadoop配置文件
配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。
在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。
CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息,每一次配置的更改会把当前页面的所有配置内容添加到数据库中,以此保存配置修改历史。
scm数据库被配置成只能从localhost访问,如果需要从外部连接此数据库,修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

查看配置内容
直接查询scm数据库的configs数据表的内容。
访问REST API: h提提屁://hostname:7180/api/v4/cm/deployment​,返回JSON格式部署配置信息。
配置生成方式
CM为每个服务进程生成独立的配置目录(文件)。所有配置统一在服务端查询数据库生成(因为scm数据库只能在localhost下访问)生成配置文件,再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。
配置修改
CM对于需要修改的配置预先定义,对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置,可以在CM通过部署客户端生成客户端配置。

其他错误总结会持续更新。

猜你喜欢

转载自blog.csdn.net/xingyue0422/article/details/85601726