ubuntu19 搭建ubuntu 完全分布式

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/dudu3332/article/details/102718739

首先下下载ubtunut

可以使用sudo nautilus

进入根目录安装

下栽好后

配置hadoop环境变量：

1	$ sudo vim /etc/profile

在末尾添加spark环境变量：

1 2 3

# Hadoop export HADOOP_HOME=/opt/hadoop export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

运行以下命令让hadoop环境变量生效：

1	$ source /etc/profile

之后配置

修改Hadoop配置

hadoop的配置文件都在${HADOOP_HOME}/etc/hadoop目录下，命令行进入这个目录修改以下配置文件：

1	$ cd ${HADOOP_HOME}/etc/hadoop

hadoop-env.sh

1	$ vim hadoop-env.sh

将其中的

1	export JAVA_HOME=${JAVA_HOME}

替换为JDK的安装位置：

1	export JAVA_HOME=/opt/jdk

core-site.xml

1	$ vim core-site.xml

1 2 3 4 5 6

<configuration> <property> <name>fs.default.name</name> <value>hdfs://sun:9000</value> </property> </configuration>

该文件用于配置master 主机名及端口

hdfs-site.xml

mapred-site.xml

1	$ vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>sun</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>
</configuration>

关于yarn.acl

其中yarn.acl.enable默认值为true。而对于yarn.admin.acl默认值为*，意味着所有人都可以管理Resource Manager (比如运行yarn rmadmin)、管理已提交 (比如取消 kill) 的任务。

workers

3.0以后slaves更新为workers，去掉localhost 添加别的机器 即可

未完