Ubuntu下Hadoop的集群版的安装
1,准备两个服务器 机器名 IP 作用 hadoop.main 192.168.1.102 NameNode,JobTracker,DataNode,TaskTracker hadoop.slave 192.168.1.107 DataNode,TaskTracker 注意:两台主机必须使用相同的用户名运行(就是命令行中@前面的用户) |
2,分别按照hadoop单机版的安装方式在两台主机上进行安装 |
3,分别在/etc/hostname中修改主机名hadoop.mian/hadoop.slave 利用hostname命令查看本机的机器名 分别在/etc/hosts中配置主机名和IP地址对应关系 hadoop.main中: hadoop.main 192.168.1.102 hadoop.slave 192.168.1.107 hadoop.slave中: hadoop.main 192.168.1.102 hadoop.slave 192.168.1.107 注: ifconfig 显示本地IP地址(inet addr) |
4,分别在两台机子上ping一下看是否通 hadoop.main中: ping hadoop.main ping 192.168.1.107 hadoop.slave中: ping hadoop.slave ping 192.168.1.102 |
5,将Hadoop.main节点中的~/.ssh/id_rsa.pub文件拷贝到hadoop.slave 的~/.ssh/目录下。 拷贝命令:~/.ssh$ scp id_rsa.pub hadoop.slave:./.ssh/(hadoop.main下到达.ssh目录下) 然后登录hadoop.slave下~/.ssh/目录下运行命令cat ./id_rea.pub >> authorized_keys 确保hadoop.main登录hadoop.slave是无密码登录状态(要验证) |
6,分别在hadoop.mian和hadoop.slave的hadoop安装目录下的conf下的 core-site.xml中name为fs.defaule.name的value值统一为hdfs://hadoop.main:9000(尤其是hadoop.slave) mapred-site.xml中name为mapred.job.tracker的value值统一为hadoop.main:9001(尤其是hadoop.slave) |