学习日记29--Hadoop完全分布模式搭建

1.安装jdk

1. oracle官网下载jdk安装包（本例使用Java8），使用tar -xzvf jdk… 解压安装。
2. 在/usr目录下新建soft目录，cd /usr ; sudo mkdir soft ;
3. 修改soft文件夹的读写权限，sudo chmod a+w soft ;用ls -al 查看权限
4. 移动jdk至soft文件夹：mv jdk.. /usr/soft
5. 进入到jdk的bin目录：cd /usr/soft/jdk../bin （仅查看，可跳过此步）
6. 配置环境变量：cd /etc ; sudo nano environment ; 在PATH上方新建一行并输入JAVA__HOME=/usr/soft/jdk…(位置自行查询)；将PATH路径最后的games：之后的路径改为/usr/soft/jdk…/bin ; 保存退出：ctrl+o保存，enter确定，ctrl+x退出；source environment 使其立即生效；echo $JAVA_Home 显示结果
7. java -version 命令测试Java是否安装成功

2.安装Hadoop

1. 打开官网www.apache.org，在project中找到Hadoop，进入download hadoop，选择hadoop版本（本例使用2.7.7），点击binary进入下载页面，选择最上方的下载链接下载。
2. cd Download文件夹，用tar -xzvf hadoop.. 解压安装。
3. 移动至soft文件夹：mv hadoop.. /usr/soft
4. 添加环境变量：cd /etc ; sudo gedit environment 打卡环境变量设置；在上方新建一行并输入HADOOP_INSTALL=/usr/soft/hadoop…; 在PATH路径最后加上“ : /usr/soft/hadoop…/bin:/usr/soft/hadoop…/sbin ”(其中：为分隔符不可省略)；source environment 使其立即生效；echo $PATH 显示结果
5. 使用hadoop version 检查是否安装成功，需要重启系统使JAVA生效

3.配置Hadoop独立模式

1. jps命令查看进程
2. hadoop fs -ls 即使用hadoop形式下的ls命令
3. 独立模式并不是分布式存储

4.配置Hadoop伪分布模式

1. cd /usr/soft/hadoop…/etc 目录下只有一个hadoop文件夹，对它进行复制，cp -R hadoop hadoop_pseudo
2. 进入hadoop_pseudo目录，对其中的site文件进行编辑，sudo gedit *-site.xml 打开所有xml文件，并修改其内容。参考伪分布模式配置
3. 启动守护进程，配置 SSH权限认证。sudo apt-get install ssh 进行安装，用which ssh-keygen 查看是否有秘钥生成器keygen
4. 回到主目录 cd ~ ; ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
5. 进入 cd .ssh ,下有两个文件 id_rsa ; id_rsa.pub
6. cat id_rsa.pub >> authorized_keys
7. ssh localhost ,选择yes完成配置，exit退出ssh模式。cd .ssh 目录下有known_hosts时配置成功
8. 再次ssh localhost， 此时不需要密码。
9. cd .ssh 进入/.ssh 目录； hadoop namenode -format 进行格式化
10. 启动守护进程：进入 cd /usr/soft/hadoop…/etc 目录，start-dfs.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo ; 选择yes； start-yarn.sh --config$HADOOP_INSTALL/etc/hadoop_pseudo ；
11. jps -l 查看守护进程：应包含 NameNode，Jps，SecondaryNamenode，NodeManager，ResourceManager，DataNode （可自行查看类完整名的源代码进行学习）
12. 通过http://localhost:50070/ 查看名称节点，http://localhost:8088/
13. 关闭进程：stop-yarn.sh, stop-dfs.sh
14. 启动的快捷方式：start-all.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo
15. 在 /usr/soft/hadoop…/etc 目录下， export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop_pseudo ; 此时，用 hadoop fs -ls / 显示为空； 用 hadoop fs -mkdir /user/ 创建用户目录，再用hadoop fs -ls / 查看是否创建成功。

5.配置Hadoop完全分布模式

1. 复制虚拟机。
2. 重命名hadoop为独立模式，cd /usr/soft/hadoop…/etc ; mv hadoop hadoop_alone ;
3. cp -R hadoop_pseudo hadoop_cluster 建立集群型hadoop
4. ln -s hadoop-cluster hadoop 建立符号链接，等价与Windows中的快捷方式。