linux上javahome环境配置及hadoop集群搭建

一、在javahome上配置jdk

1.上传文件
首先 mkdir -p /opt/software 我是将安装软件放在此目录下的 cd /opt/software
两种上传方式：

1)、xftp 建立好链接将** jdk-8u121-linux-x64.tar.gz** 拖动到相应的位置
2)、使用命令rz 如果未安装lrzsz需要先通过 yum install lrzsz -y 命令在线安装

注意：必须在shell中才能正确使用rz命令，而终端需要安装Tools才能rz命令。
2、解压

解压安装jdk(java开发环境)tar -zxvf jdk
3、配置环境变量

可在以下两种中选择一种进行配置

用户变量vi /etc/bashrc

系统变量vi /etc/profile

这里我选择的是系统变量配置，操作命令后加入以下两条语句

export JAVA_HOME=/opt/software/jdk1.8.0_121 配置javahome路径
export PATH=$PATH:$JAVA_HOME/bin 将javahome路径下的bin文件添加到path路径下

source /etc/profile 让环境变量生效，然后java -version 查看版本号

二、安装hadoop

首先 mkdir -p /opt/software 我是将安装软件放在此目录下的 cd /opt/software
1、上传hadoop包

两种上传方式：

1)、xftp 建立好链接将hadoop-2.6.5.tar.gz 拖动到相应的位置
2)、使用命令rz 如果未安装lrzsz需要先通过 yum install lrzsz -y 命令在线安装

注意：必须在shell中才能正确使用rz命令，而终端需要安装Tools才能rz命令。

2、解压安装包

tar -zxvf hadoop-2.6.5.tar.gz 将文件解压

3、了解目录结构并修改配置文件

首先到文件路径cd /opt/software/hadoop-2.6.5/下

hadoop文件命令作用：

 a)  bin---系统的操作命令（文件的增删改查）
 
 b)  sbin--系统的管理命令（集群的启动、关闭）

配置信息
此路径下的文件cd /opt/software/hadoop-2.6.5/etc/hadoop/

a、slaves—节点（DN）

加入Datanode节点名称

b、hdfs-site.xml

dfs.replication //设置备份个数
1 //节点个数
```
 <property>     
 	<name>dfs.namenode.secondary.http-address</name>   
```
//secondaryNamenode
node01:50090 //这里要改

3、core-site.xml
>
fs.defaultFS //namenode hdfs://node01:9000 //这里要改 hadoop.tmp.dir //namenode启动后产生的信息 /var/abc/hadoop/local

4、

把*-env.sh的文件内部所有的java路径改为绝对路径
我改掉的就是中的javahome将相对路径改为绝对路径：

hadoop-env.sh
mapred-env.sh
yarn-env.sh

配置免密登录
(1)配置免密登录 node01->node01
cd根目录

 ssh-keygen -t rsa
    ll -a
    cd .ssh
    ls
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
    yes
    密码
    ls

看是否有authorized_keys known_hosts
免密设置成功后可以ssh node01 进行访问

5、格式化重新格式化的时候将 /var/abc删除
在次路径下 cd /opt/software/hadoop-2.6.5/bin/
./hdfs namenode -format-----让所有文件生效
cd /var/abc/hadoop/local/dfs/name/current/ ls可查看edis和fsimage
cat Version 查看版本号
6、启动命令

cd /opt/software/hadoop-2.6.5/sbin
./start-dfs.sh
jps

7、配置hadoop的环境变量

export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

三、完全分布式配置

1、配置多个节点的网络映射
     在vi /etc/hosts文件中
     192.168.79.123 node01
     192.168.79.124 node02
     192.168.79.125 node03
     192.168.79.126 node04
2、多节点之间免密配置
     (1)配置免密登录 node01->node01
      在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
      在node01执行

 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

注：将某一个节点的文件发送到其他的节点上

 scp /etc/hosts [email protected]:/etc

3、配置slaves到多个节点上-----设置的是DN节点的启动位置
4、修改core-site.xml和hdfs-site.xml
5、将修改完成后的文件发送到其他的节点上

scp -r hadoop-cluster root@node02:/opt/software

将cd /opt/software/hadoop-2.6.5/etc/hadoop/

在 slaves里加入加入其他节点

6、格式化，让配置文件生效

    cd /opt/software/hadoop-2.6.5/bin/
	hdfs namenode -format

7、启动和关闭的命令在/opt/software/hadoop/etc/hadoop/sbin

#启动集群
	./start-dfs.sh
#关闭集群
	./stop-dfs.sh

附加：vim 在线安装

  yum -y install vim*

虚拟机的网络配置

vi /etc/hosts

在文档中加：192.168.230.131 g'z'z

vi /etc/sysconfig/network #修改主机名

`vi /etc/sysconfig/network-scripts/ifcfg-eth0`  
#其中唯一的uui及唯一的hwaddr要删除



ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.230.131
GATEWAY=192.168.230.2
NETMASK=255.255.255.0
DNS1=192.168.230.2
DNS2=0.0.0.0

service iptables stop

chkconfig iptables off

service network restart

将文件中的eth1改为eth0或删除重启重新生成

rm -rf /etc/udev/rules.d/70-persistent-net.rules