上一篇: centos7的安装: http://username2.iteye.com/admin/blogs/2390323
10、Ambari安装: https://ambari.apache.org/ http://www.infocool.net/kb/OtherCloud/201611/214644.html Ambari-2.4.1.0 压缩包地址: http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.1.0/ambari-2.4.1.0-centos7.tar.gz HDP-2.5.0.0压缩包地址: http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos7-rpm.tar.gz HDP UTILS压缩包下载地址: http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz 其他版本,下载地址请参考: Ambari: http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html HDP和HDP UTILS: http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/hdp_stack_repositories.html 11、安装apache并且解压上面的压缩文件到http的目录下面,DocumentRoot 目录下面: 1) yum update yum install httpd 2) 修改配置文件 /etc/httpd/conf/httpd.conf 添加监听的地址和端口: ServerName 192.168.145.131:80 可以修改监听的地址:DocumentRoot "/var/www/html" 3)启动 /etc/httpd/httpd -k start/restart/stop 4)访问服务器192.168.145.131:80看到文件目录结构。 5)两个项目的目录: http://192.168.145.131/HDP/centos7/ http://192.168.145.131/ 12、安装ambari-server cd /etc/yum.repos.d/ wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo yum install ambari-server ambari-server setup vi /etc/ambari-server/conf/ambari.properties 在最后添加client.api.port=18080即将ambari的端口修改为18080 sudo ambari-server start 在浏览器中输入http://192.168.145.131:18080 出现的页面输入用户名和密码:admin/admin 到此ambari安装完成,下面安装集群。 13、服务器复制为5份,设置所有机器的host,并且做互相免密登录 ssh-keygen -t rsa ssh-copy-id linux130.cn ssh-copy-id linux132.cn ssh-copy-id linux131.cn ssh-copy-id linux133.cn ssh-copy-id linux134.cn 14、设置所有的host sudo vi /etc/hosts 192.168.145.131 linux131.cn linux131 192.168.145.130 linux130.cn linux130 192.168.145.129 linux132.cn linux132 192.168.145.133 linux133.cn linux133 192.168.145.134 linux134.cn linux134 下面这些用于设置ambari中的域名: linux131.cn linux130.cn linux132.cn linux133.cn linux134.cn 15 、开启NTP服务,同步各个机器上的时钟 yum -y install ntp systemctl is-enabled ntpd systemctl enable ntpd systemctl start ntpd 16、设置各个机器上的网络域名 sudo vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=linux132.cn 17、如果防火墙没有关闭,需要关闭掉 关闭防火墙和SELinux systemctl disable firewalld systemctl stop firewalld 临时关闭,不用重启机器: setenforce 0 修改配置文件让机器重启也生效: cat /etc/sysconfig/selinux SELINUX=disabled 18、根据ambari上的向导,安装hadoop相关 名称:bigdata hdp的服务器要设置成私有的,并且设置为我们自己的11中小(5)给的地址,系统设置为redhad7, 操作用户选择root,并且所有机器要有root账号的免密登录,上传ambari,server服务器上的id_rsa私钥 下一步,然后ambari会检查各个机器的ssh的免密登录,并且会拷贝各个机器上一些文件。 如果虚拟机磁盘空间不足,则磁盘扩展: http://blog.csdn.net/icycolawater/article/details/6992722 19、访问装好的服务 http://192.168.145.131:18080 20、如果内存过少可能执行hadoop的命令比较慢,需要停止交换内存。 1)可以用以下两个命令清除刷新swap,先关闭在打开:swapoff -a(交换内存不用就直接关掉就好了) | swapon -a 2)建议物理内存剩余10%在使用交换分区: echo 10 > /proc/sys/vm/swappiness 21、执行hive命令会有几个错误: 1)hadoop如果为安全模式则执行:hadoop dfsadmin -safemode leave 2)权限的问题则在ambari上修改dfs.permissions=false