Hadoop2.6.1安装

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010023795/article/details/79846811

JDK下载地址:jdk-8u66-linux-x64.tar.gz

Linux安装JDK及环境变量配置,参见:http://blog.csdn.net/yuan_xw/article/details/49948285

 

2、Hadoop下载:hadoop-2.7.1.tar.gz

 

3、Zookeeper下载:zookeeper-3.4.5.tar.gz


首先安装JDK
安装好jdk之后


vim ~/.bashrc  打开这个根目录文件




在里面添加:
export JAVA_HOME=/home/badou/Desktop/jdk1.7.0_67
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin


然后保存


输入 :  source ~/.bashrc 或者 bash 


然后测试一下
直接输入 java 查看一下


再然后 which java 一下就可以看到输出的java目录


输入 java -version 可以查看到如下:
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)




这样就配置成功了






hadoop2.0+ 环境变量配置:


#Master
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz
tar zxvf hadoop-2.6.1.tar.gz


3. 修改Hadoop配置文件
#Master
cd hadoop-2.6.1/etc/hadoop
vim hadoop-env.sh 
export JAVA_HOME=/home/badou/Desktop/jdk1.8.0_152


vim yarn-env.sh
export JAVA_HOME=/home/badou/Desktop/jdk1.8.0_152


vim slaves
slave1
slave2




输入: vim core-site.xml
<configuration>
 <!--指定hdfs的nameService1节点URL地址 --> 
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.252.10:9000</value>
    </property>
<!-- Hadoop的运行时文件存放路径,如果不存在此目录需要格式化 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/badou/Desktop/hadoop-2.6.1/tmp</value>
    </property>
</configuration>


输入:
vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/badou/Desktop/hadoop-2.6.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/badou/Desktop/hadoop-2.6.1/dfs/data</value>
    </property>
    <property>
        <name>dfs.repliction</name>
        <value>3</value>
    </property>
</configuration>




输入:
vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>




vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
        <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
        <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
        <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
        <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8035</value>
    </property>
        <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
        <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>




#创建临时目录和文件目录
mkdir /home/badou/Desktop/hadoop-2.6.1/tmp
mkdir -p /home/badou/Desktop/hadoop-2.6.1/dfs/name
mkdir -p /home/badou/Desktop/hadoop-2.6.1/dfs/data




4. 配置环境变量
#Master、Slave1、Slave2  (有几个节点就要复制操作几次)
vim ~/.bashrc
HADOOP_HOME=home/badou/Desktop/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin
#刷新环境变量
source ~/.bashrc


5. 拷贝安装包
#Master
scp -r /home/badou/Desktop/hadoop-2.6.1root@slave1:/home/badou/Desktop/hadoop-2.6.1
scp -r /home/badou/Desktop/hadoop-2.6.1root@slave2:/home/badou/Desktop/hadoop-2.6.1


6. 启动集群
#Master
#初始化Namenode
hadoop namenode -format


#启动集群
./sbin/start-all.sh


6. 集群状态
jps




9. 关闭集群

./sbin/hadoop stop-all.sh

参考文献:https://blog.csdn.net/yuan_xw/article/details/51175171

                http://https//blog.csdn.net/se7en_q/article/details/47258007

                https://blog.csdn.net/u013619834/article/details/46598791


猜你喜欢

转载自blog.csdn.net/u010023795/article/details/79846811