linux上hadoop安装教程

1、安装SSH、配置SSH无密码登陆

      一般来说linux上的ssh是默认安装的,如果没有安装,可以输入以下命令安装。

        sudo yum install openssh-clients

        sudo yum install openssh-server

         安装完成以后, 可以尝试登录以下    ssh localhost   然后输入密码。

         确认以上步骤无误后,进行下一步,生成秘钥,并保存。
         exit                           # 退出刚才的 ssh localhost
         cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
         ssh-keygen -t rsa              # 会有提示,都按回车就可以
         cat id_rsa.pub >> authorized_keys  # 加入授权
         chmod 600 ./authorized_keys    # 修改文件权限

2、安装jdk。

      安装jdk属于比较通用得操作,网上教程也很多,就不赘述了。简单来说就是下载包,解压,配置环境变量,检查安装结果。

3、安装hadoop

      首先是下载,解压。不多说。可以运行以下实例看看hadoop包能不能正常运行,命令如下:

          cd /xxxx/hadoop-x.x.x                        # 进入hadoop文件目录
          mkdir ./input
          cp ./etc/hadoop/*.xml ./input              # 将配置文件作为输入文件
          ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
          cat ./output/*                                      # 查看运行结果

     

      这样就算可以程序没问题了。(温馨提示:测完记得删除)

      程序没问题就可以配置环境变量了。

          export HADOOP_HOME=/xxxx/hadoop-x.x.x

          export HADOOP_INSTALL=$HADOOP_HOME

          export HADOOP_MAPRED_HOME=$HADOOP_HOME

          export HADOOP_COMMON_HOME=$HADOOP_HOME

          export HADOOP_HDFS_HOME=$HADOOP_HOME

          export YARN_HOME=$HADOOP_HOME

          export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

          export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

          source /etc/profile              #记得加载新修改得环境变量

      修改好环境变量以后,修改hadoop配置

core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>

     配置完成以后格式化名称节点,然后开启守护进程(jps命令来检查启动结果

./bin/hdfs namenode -format
./sbin/start-dfs.sh

4、启动yarn

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

先使用模版的配置文件,然后编辑配置文件

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

执行以下命令启动yarn

./sbin/start-yarn.sh $ 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况

最后送两个url

http://localhost:50070

http://localhost:8088/cluster

     

猜你喜欢

转载自blog.csdn.net/u012925114/article/details/82950595
今日推荐