【大数据】Hadoop单机安装配置

1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中

    

2.创建软链接，方便hadoop升级

 ln -s /home/hadoop/Soft/hadoop-2.7.6 /usr/local/soft/hadoop

 

根据软链接路劲，修改/etc/profile

export JAVA_HOME=/usr/local/soft/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/soft/zookeeper/bin:/usr/local/soft/hbase/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用vi /etc/profile编辑

使用source /etc/profile更新环境变量

3.配置hadoop伪分布式（要修改hadoop安装目录中的etc/hadoop下的5个文件）

 

第一个：hadoop-env.sh

     vim hadoop-env.sh

     export JAVA_HOME=/usr/local/soft/java

 

第二个：core-site.xml

<configuration>

          <!-- 用来指定hdfs的老大（NameNode）的地址 -->

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://itcast01:9000</value>

        </property>

          <!-- 用来指定Hadoop运行时产生文件的存放目录 -->

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/itcast/hadoop-2.2.0/tmp</value>

        </property>

</configuration>

 

第三个：hdfs-site.xml

     <configuration>

            <!-- 指定HDFS保存数据副本数量 --> 

          <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

</configuration>

 

第四个：mapred-site.xml (需要从此文件复制mapred-site.xml.template)

     <configuration>

          <!-- 告诉hadoop以后MR运行在yarn上 -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

     </configuration>

 

第五个：yarn-site.xml

 

<configuration>

          <!-- NodeManager获取数据的方式是shuffle-->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

          <!-- 指定YARN的老大（resourcemanager）的地址 -->

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>itcast01</value>

        </property>

</configuration>

 

4..初始化HDFS

     

     #hadoop namenode -format(过时了)

     hdfs namenode -format

 

5.启动文HDFS和YARN

     ./start-all.sh（过时了）This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [it]

 

     #有个小问题（需要多次输入密码）

     接下来，使用jps查看进程情况

     jps（jps 在 Linux/unix平台上简单察看当前java进程的一些简单情况），如果有以下进程则表示测试通过

Jps （java进程）

SecondaryNameNode （相当于NameNode的助理）

DataNode （hdfs部门的小弟，负责存放数据）

NameNode （hdfs部门的老大）

ResourceManager （yarn部门的老大，yarn负责资源管理）

NodeManager （yarn部门的小弟，可以一个，集群的话会有很多）

 

 

     另外，我们也可以在windows平台下，使用浏览器进行查看，是否搭建成功

     http://192.168.43.35:50070 

     http://192.168.43.35:8088