Ubuntu16.04上Hadoop完全分布式的搭建

第一步:

所有电脑都操作:

更改source.list源

source.list在 /etc/apt 下,用 sudo gedit(或nano)更改。

之后 sudo apt-getupdate 更新源文件。

注:ubuntu16对应的源是清华大学的 否则ssh 无法启动

注:一台从机中在更新时 出现lock的错误,通过ps –e | grep apt 发现aptd这个进程在占用apt-get端口,sudo killall aptd杀死这个进程。然后就正常更新。

 

第二步:

所有电脑:

装jdk

在Downloads解压:tar  –xzvf  jdk.tar.gz

将解压好的jdk 放到 /usr/soft/下 (在usr下创建soft的命令:sudo mkdir soft)  

要修改soft权限  sudo chmod a+w soft,之后把解压的jdk 放到soft下

 

第三步:

所有电脑:

配置java环境变量

etc目录下

cd /etc

执行: sudo gedit environment

JAVA_HOME=(填写自己的路径)

PATH=(填写自己的路径)

source environment 立即生效

 

第四步:

所有电脑:

Hadoop安装

在Downloads下解压hadoop  :tar –xzvf hadoop.tar.gz

移动到/usr/soft 下

设置环境变量

cd /etc

sudo gedit environment

配置

HADOOP_INSTALL=(自己的路径)

PATH=(自己的路径)

立即生效source environment

重启sudo reboot

hadoop version

查看是否成功

 

第五步:

配置SSH

修改登录名{

[四台机器登录名相同。注:登录名不是主机名],

[登录名和主机名区分开:登录名是whoami,主机名是hostname],

[修改登录名:https://www.cnblogs.com/zeusmyth/p/6231350.html

}

检测SSH :which ssh 回车

ssh-keygen  –t      rsa  –P   ‘’       –f      ~/.ssh/id_rsa

cd  ~/.ssh 进隐藏的.ssh目录

cat  id_rsa.pub >>  authorized_keys

 

注:如果只是每台机器生成密钥没有实现免密登陆(非虚拟机配置SSH),是因为每台机器生成的密钥是随机的,需要将主机的authorized_keys(在~/.ssh下)粘贴到从机上。每台机器的known_hosts清空。重新用ssh链接后可免密登陆

第六步:

修改主机名

cd /etc

sudo gedit hostname(分别是:master,s1,s2,s3)

sudo reboot(重启)

 

把各个计算机的ip地址和主机名写到/etc/hosts下

cd     /etc

sudo gedit hosts

 

sudo apt-get install openssh-server(桌面版需要安装ssh

 

第七步:

集群配置文件*-site.xml

core-site.xml

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<configuration>

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://master/</value>

</property>

</configuration>

 

hdfs-site.xml

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

  <name>dfs.replication</name>

  <value>3</value>

</property>

</configuration>

 

yarn-site.xml

<?xmlversion="1.0"?>

<configuration>

  <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>

  </property>

<property>

   <name>yarn.resourcemanager.address</name>

    <value>master:8032</value>

  </property>

<property>

   <name>yarn.nodemanager.resource.memory-mb</name>

    <value>2048</value>

  </property>

<property>

   <name>yarn.nodemanager.cpu-vcores</name>

    <value>1</value>

  </property>

 

<property>

   <name>yarn.resourcemanager.scheduler.address</name>

    <value>master:8030</value>

  </property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>master:8031</value>

  </property>

  <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

  </property>

</configuration>

 

mapred-site.xml

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

   <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

</configuration>

 

 

注:必须配置两台从机以上。

 

第八步:

安装eclipse

在Downloads 下解压linux版本eclipse压缩包

讲解压得eclipse复制到/usr/soft下

 


猜你喜欢

转载自blog.csdn.net/qq_28626909/article/details/80373582