基本步骤·
- 安装JDK,配置JDK环境变量
- 安装Hadoop,配置Hadoop环境变量,配置Hadoop
- 组织并在集群中分发文件
其它要求
- 集群中的计算机在时间上要同步,系统时间不能差太多(秒级),如果设置时间后重启时间又不准确了(主板电池老化),可以启用NTP(Network Time Protocol网络时间协议)服务解决。
- 集群中的计算机在网络上能够相互访问
- 全部实现免密码SSH访问(可以统一密钥对)
- 全部实现Hosts解析
- 全部关闭防火墙
- 固定IP,要规划好IP地址和主机名
- 虚拟机的网络使用桥接模式(如果在同一台物理机内的虚拟机间搭集群可以用NAT模式)
网络规划
- 规划namenode主机名与ip
- 规划datanode主机名与ip
安装Linux
-
注意设置网络(安装过程中设置主机名、IP等)
-
注意设置时间(安装过程中设置网络时间同步)
关闭防火墙
-
关闭防火墙 systemctl stop firewalld
-
禁止防火墙开机启动 systemctl disable firewalld
3. 查看防火墙状态 firewall-cmd --state
安装JDK
- 检查是否已安装JDK,java -version
- 下载想要安装的JDK版本,把安装包放在linux指定的文件夹下,如/home/jdk-7u71-linux-x64.tar.gz
- 解压jdk-7u71-linux-x64.tar.gz
- 移到相应的位置mv jdk1.7.0_71 /usr/local/
- 备份系统环境变量cp /etc/profile /home/mj/
-
编辑系统环境变量 vi /etc/profile
加入内容如下:
export JAVA_HOME=/usr/local/jdk1.7.0_71
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
-
加载刚设置的变量source /etc/profile
扫描二维码关注公众号,回复: 2298725 查看本文章 -
测试是否安装成功
输入 java -version 然后会显示jdk的版本信息等
安装Hadoop
- 下载想要安装的Hadoop版本,把安装包放在linux指定的文件夹下,如/home/hadoop-2.7.4.tar.gz
- 解压tar -xzf hadoop-2.7.4.tar.gz
- 移动到相应的位置 mv hadoop-2..7.4 /home/hadoop
-
打开hadoop-evn.sh指定JDK位置
# The java implementation to use.
export JAVA_HOME=JDK位置
-
打开core-site.xml指定NameNode
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
-
打开hdfs-site.xml指定SecondaryNameNode
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdfs://master:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>16000</value>
<description>增大xcievers个数</description>
</property>
注:以上只配置了HDFS,MapReduce等配置项随后使用时再添加