HADOOP集群安装
• 使用浏览器进入Cloudera Manager的配置页面,地址http://主机节点IP:7180,默认用户名/密码为admin/admin
• 登录后,进入CM页面,勾选红框中的YES后,再点击继续
• 选择Cloudera Express免费版本后,点击继续
• 点击继续
• 选择当前管理的主机
• 选择所有主机,点击继续
• 进入安装CDH选项页面 。
如果没有可选择的CDH版本,则点击更多选项,在“远程 Parcel 存储库 URL”中,添加一个http://192.168.186.109/cdh55/parcels/5.5.0(注意红色字体为需要修改的主机节点ip地址);如果有选择则选择相应版本。
• 点击继续后进入安装JDK页面,由于之前已经手工安装过JDK,因此此步直接点击继续
• 进入集群安装页面,等待安装完成
• 安装完成后,变成下图页面,点击继续
• 进入主机正确性检查页面,当检查结果完成后,如有某些配置存在异常,根据提示进行修改,本次安装遇到错误如下:
a) 将/proc/sys/vm/swappiness设置为0,执行下面命令进行修改
sysctl vm.swappiness=0
echo 'vm.swappiness=0'>> /etc/sysctl.conf
b) 已启用“透明大页面”,它可能会导致重大性能问题,执行下面命令进行修改
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
• 修改后重新进行检查,待所有项均无异常,后点击完成
• 进入到集群设置页面
• 选择“含Spark的内核”选项,点击继续
• 使用默认值(如果有需要,可将组件分开不同节点),点击继续
• 进入数据库配置页面,在配置数据库之前需要先跳到第四章配置MariaDB数据库。
• 输入之前MariaDB中创建的hive和Oozie数据库相关信息,点击“测试连接”,完成后,点击继续
• 进入等待审核更改页面,等待审核更改完成
• 审核更改完成后,点击继续
• 开始安装Hadoop组件,等待完成
• 安装完成后,点击继续
• 完成安装,点击完成
• 点击完成,进入Cloudera Manager页面