Hadoop伪分布部署

版权声明：hanxinkong提供技术支持 https://blog.csdn.net/hanxinkong/article/details/84329768

Hadoop伪分布部署

Hadoop伪分布式配置是在没有多台计算机节点的情况下，对hadoop的分布式存储和计算进行模拟安装和配置。通过在一台计算机节点上解压hadoop安装压缩包后，然后进行hadoop相关文件进行配置，让Hadoop的核心进程都运行在同一台机器上并实现对数据存储和计算的测试支持。此时的配置环境并没有达到真实的分布式存储和分布式计算。

解压Hadoop压缩

hadoop配置java环境

# vim hadoop-env.sh

搜索
#export JAVA_Home=
改为
export JAVA_HOME=/simple/jdk1.8.0_73

改配置文件 core-site.xml

# vim core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/simple/hadoop-2.7.3/tmp</value>
</property>

2 配置文件 hdfs-site.xml

# vim hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
     <name>dfs.name.dir</name>
     <value>/simple/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
     <name>dfs.data.dir</name>
    <value>/simple/hadoop-2.7.3/hdfs/data</value>
</property>

3 配置文件

# vim mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

4 配置文件 yarn-site.xml

# vim yarn-site.xml

<property>
            <name>yarn.resourcemanager.hostname</name>
            <value>localhost</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

配置环境变量

# vim /etc/profile

配置文件生效

# source /etc/profile

格式化namenode

# hdfs namenode -format

启动hadoop

# start-dfs.sh

启动yarn

# start-yarn.sh

查看已启动进程

 # jps

HDFS管理界面
http//localhost:50070

MR管理界面

http ://localhost:8088