第一步:
所有电脑都操作:
更改source.list源
source.list在 /etc/apt 下,用 sudo gedit(或nano)更改。
之后 sudo apt-getupdate 更新源文件。
注:ubuntu16对应的源是清华大学的 否则ssh 无法启动
注:一台从机中在更新时 出现lock的错误,通过ps –e | grep apt 发现aptd这个进程在占用apt-get端口,sudo killall aptd杀死这个进程。然后就正常更新。
第二步:
所有电脑:
装jdk
在Downloads解压:tar –xzvf jdk.tar.gz
将解压好的jdk 放到 /usr/soft/下 (在usr下创建soft的命令:sudo mkdir soft)
要修改soft权限 sudo chmod a+w soft,之后把解压的jdk 放到soft下
第三步:
所有电脑:
配置java环境变量
etc目录下
cd /etc
执行: sudo gedit environment
JAVA_HOME=(填写自己的路径)
PATH=(填写自己的路径)
source environment 立即生效
第四步:
所有电脑:
Hadoop安装
在Downloads下解压hadoop :tar –xzvf hadoop.tar.gz
移动到/usr/soft 下
设置环境变量
cd /etc
sudo gedit environment
配置
HADOOP_INSTALL=(自己的路径)
PATH=(自己的路径)
立即生效source environment
重启sudo reboot
hadoop version
查看是否成功
第五步:
配置SSH
修改登录名{
[四台机器登录名相同。注:登录名不是主机名],
[登录名和主机名区分开:登录名是whoami,主机名是hostname],
[修改登录名:https://www.cnblogs.com/zeusmyth/p/6231350.html
}
检测SSH :which ssh 回车
ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa
cd ~/.ssh 进隐藏的.ssh目录
cat id_rsa.pub >> authorized_keys
注:如果只是每台机器生成密钥没有实现免密登陆(非虚拟机配置SSH),是因为每台机器生成的密钥是随机的,需要将主机的authorized_keys(在~/.ssh下)粘贴到从机上。每台机器的known_hosts清空。重新用ssh链接后可免密登陆
第六步:
修改主机名
cd /etc
sudo gedit hostname(分别是:master,s1,s2,s3)
sudo reboot(重启)
把各个计算机的ip地址和主机名写到/etc/hosts下
cd /etc
sudo gedit hosts
sudo apt-get install openssh-server(桌面版需要安装ssh)
第七步:
集群配置文件*-site.xml
core-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master/</value>
</property>
</configuration>
hdfs-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
yarn-site.xml
<?xmlversion="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.cpu-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
注:必须配置两台从机以上。
第八步:
安装eclipse
在Downloads 下解压linux版本eclipse压缩包
讲解压得eclipse复制到/usr/soft下