集群三部曲之准备工作:Linux端安装jdk和Hadoop
1.关闭防火墙
1)查看防火墙开机启动状态
sudo service iptables status
2)临时关闭防火墙(为后面的操作访问hdfs文件做准备)
sudo service iptables stop
再次查看:提示iptables: Firewall is not running.
2.使用root用户设置hyn用户(自己的用户名)具有root权限:
修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hyn ALL=(ALL) ALL
修改完毕,现在可以用hyn帐号登录,然后用命令 sudo ,即可获得root权限进行操作。
3.创建用于管理结构清晰的文件夹
在家目录创建文件夹,在hyn用户下创建software文件夹
mkdir software
步骤:
1.安装jdk并配好相应的环境
1)将jdk和Hadoop压缩包导入到目录software文件夹下
2)查看是否导入成功
cd software/
ls
jdk-8u172-linux-x64.gz hadoop-2.6.1.tar.gz
3)解压jdk到目录下,并重命名
tar -zxf jdk-8u172-linux-x64.gz -C
mv jdk1.8.0_172 jdk
4)删除压缩包
rm -fr jdk-8u172-linux-x64.gz
5)配置jdk环境变量
(1)先获取jdk路径:
cd jdk
pwd
/home/hyn/software/jdk
(2)打开/etc/profile文件(root):
vim /etc/profile
在profie文件末尾添加jdk路径:
##JAVA_HOME
export JAVA_HOME=/home/hyn/software/jdk
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
source /etc/profile
(5)重启(如果java –version可以用就不用重启):
6)测试jdk安装成功
java -version
显示 java version “1.7.0_45” ,则成功
2.安装Hadoop并配好相应的环境
1)进入到Hadoop安装包路径下:
[root@cloud01 ~]# software/
2)解压安装文件到software下面
[root@cloud01 software]# tar -zxf hadoop-2.6.1.tar.gz
3)查看是否解压成功
[root@cloud01 software]# ls
hadoop-2.6.1
4)hadoop-2.6.1 重命名为hadoop
mv hadoop-2.6.1 hadoop
5)删除压缩包
rm -fr hadoop-2.6.1.tar.gz
6)将hadoop添加到环境变量
(1)获取hadoop安装路径:
pwd
/home/hyn/software/hadoop
(2)打开/etc/profile文件:
vim /etc/profile
在profie文件末尾添加jdk路径:
##HADOOP_HOME
export HADOOP_HOME=/home/hyn/software/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出:
:wq
(4)让修改后的文件生效:
source /etc/profile
(5)重启(如果hadoop命令不能用再重启):
hadoop version
显示 Hadoop 2.6.1 信息,则成功
Hadoop运行模式
三种模式,不管是哪个模式搭建之前都要保证准备工作做好.
不需要启用单独进程,直接可以运行,测试和开发时使用。
(2)伪分布式模式:
等同于完全分布式,只有一个节点。
(3)完全分布式模式:
多个节点一起运行。