centos 上hadoop2.7.3安装部署单机版

 
  前提 ：centos 上1.8 jdk 环境 
 

 
hadoop 2.7.3下载 
 

 
  下载链接 
 

 
  http://hadoop.apache.org/releases.html

 
解压 
 

 
  放进自己想要放的目录下 加压 
 

我的目录 /usr/hadoop/hadoop-2.7.3/

 
hadoop 配置 
 

 
修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 
 

 
  文件，将java安装路径加进去： 
 

 export JAVA_HOME=/mnt/jdk1.8.0_151

4配置hadoop环境变量

命令 tar zxvf hadoop-2.7.3.tar.gz

 
  回车 ； 
 

 
  点 i 增加下面的两项； 
 

 
  完后按Esc ： wq 回车； 
 

 
  使用下面命令 保存配饰文件 
 

 
  source /etc/profile 
 

 
  5 
  修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件

 <configuration>  
   <!-- 指定HDFS老大（namenode）的通信地址 node1要在hosts 的配置中映射 -->  
    <property>  
        <name>fs.defaultFS</name>  
         <value>hdfs://node1:9000</value>
    </property>  
    <!-- 指定hadoop运行时产生文件的存储路径 -->  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>file:/usr/hadoop/tmp</value>  
    </property>  
</configuration>

 
  fs.defaultFS直接用localhost就行 
 

 
  6 
   
  修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml

<configuration>
  <property>  
        <name>dfs.name.dir</name>  
        <value>file:/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>file:/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
    <!-- 设置hdfs副本数量 -->  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
</configuration>

 
  name 和data 目录需要自己创建 
 

 
ssh 免密登录 
 

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
    chmod 0600 ~/.ssh/authorized_keys

 
  8 
  hdfs启动与停止

 
  在安装期间启动hdfs需要格式化，之后启动就不需要的。 
 

cd /usr/hadoop/hadoop-2.7.3  
./bin/hdfs namenode -format

 
  启动命令： 
 

./sbin/start-dfs.sh

 
  停止命令： 
 

./sbin/stop-dfs.sh

 
  启动之后 输入命令 
 

 
  从图中看，会启动namenode,datanode,secondarynamenode 
 

 
  浏览器输入：http://192.168.1.184:50070     查看效果 
 

 
  9  
  接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/ 
  mapred-site.xml    。这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn，把重命名还原。 
 

    <configuration>  
        <!-- 通知框架MR使用YARN -->  
        <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
        </property>  
    </configuration>

 
配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件 
 

    <configuration>  
        <!-- reducer取数据的方式是mapreduce_shuffle -->  
        <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
        </property>  
    </configuration>

 
  启动 yarn  
 

./start-yarn.sh

 
  停止： 
 

 ./stop-yarn.sh

 
  两个命令启动之后 利用jps命令 查看 
 

 
  如图 缺一不可（后面要搭建hbase ): 
 

 
  浏览器输入：http://192.168.1.184:8088   
 

 
  如果端口占用，先把占用的端口杀掉 查看用netstat -ano 
 

 
  搭建过程中遇到的问题先检查配置文件， 
 

 
  到此就OK了 
 

centos 上hadoop2.7.3安装部署 单机版

猜你喜欢

centos 上hadoop2.7.3安装部署单机版