一、虚拟机网络配置
编辑->虚拟网络编辑器中查看vmnet8的网关
修改网络设置里IPV4内容 注意对应自己的网关 内容有所不同
cd进/etc/sysconfig/network-scripts #ls -rt可发现刚才修改的网络配置 名字可能不一样
#/usr/sbin//sestatus -v 查看SELinux status是不是disabled 如果是enabled则修改文件#sudo vi /etc/sysconfig/selinux 修改完记得reboot
关闭防火墙centos7# sudo systemctl stop firewalld.service #sudo systemctl disable firewalld.service如果发现在root下command not found则是工作空间没切换 输入#su -即可
关闭防火墙centos6#servcie iptables stop --临时关闭防火墙#chkconfig iptables off --永久关闭防火墙
#service iptables status查看当前防火墙状态
查看是否有ssh#rpm -qa|grep ssh
cent6#service sshd start 启动服务 #：chkconfig sshd on开机启动
修改host#vi /etc/hosts 按照你自己的网关来
#vi /etc/hostname 改成master
#sudo vi /etc/ntp.conf改成下面的服务器 如果是的话则不用改
在root下#service ntpd start#chkconfig ntpd on
二、VMware克隆os
在每个克隆里网络适配器->高级->mac 生成新的mac
每个克隆中修改ipv4为前面的host配置
#vi /etc/hostname修改克隆主机名字为slave1和slave2
PING一下克隆机
每台克隆机子运行#ssh-keygen -t rsa保存公钥
克隆机运行#scp ~/.ssh/id_rsa.pub hadoop@master:~/.ssh/id_rsa.pub.slave1
#scp ~/.ssh/id_rsa.pub hadoop@master:~/.ssh/id_rsa.pub.slave2
master机运行#cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
再运行#scp ~/.ssh/authorized_keys hadoop@slave1:~/.ssh/
scp ~/.ssh/authorized_keys hadoop@slave2:~/.ssh/
最后ssh slave1 ssh slave2看是否能连接
三、安装java、python、scala
四、涉及到的配置文件为以下几个： 涉及到的配置文件为以下几个： 涉及到的配置文件为以下几个：
01. ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
02. ${HADOOP_HOME}/etc/hadoop/yarn-env.sh
03. ${HADOOP_HOME}/etc/hadoop/slaves
04. ${HADOOP_HOME}/etc/hadoop/core-site.xml
05. ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
06. ${HADOOP_HOME}/etc/hadoop/mapred-site.xml
07. ${HADOOP_HOME}/etc/hadoop/yarn-site.xml
如果有的 文件不存在，可以复制相应如果有的 文件不存在，可以复制相应如果有的 文件不存在，可以复制相应如果有的 文件不存在，可以复制相应template文件获得， 例如文件获得， 例如文件获得， 例如mapred-site.xml文件 不存在，则可以从 mapred-site.xml.template复制一份过来
（helloworld是用户名，自行修改）
配置文件 配置文件 1：hadoop-env.sh
指定 JAVA_HOME
export JAVA_HOME=/data/jdk1.8.0_151
/data/Hadoop-2.6.5/etc/hadoop/ hadoop-env.sh
配置文件 配置文件 2：yarn-env.sh
指定 JAVA_HOME
export JAVA_HOME=/data/jdk1.8.0_151
配置文件 配置文件 3：slaves
配置文件 配置文件 4：core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <value>file:///home/helloworld/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property> <name>hadoop.proxyuser.helloworld.hosts</name>
<value>*</value> <description>helloworld用户 可以代理任意机器上的用户 可以代理任意机器上的用户 可以代理任意机器上的用户 可以代理任意机器上的用户 可以代理任意机器上的</description>
</property>
<property> <name>hadoop.proxyuser.helloworld.groups</name>
<value>*</value> <description>helloworld用户 代理任何组下的用户 代理任何组下的用户 代理任何组下的用户 代理任何组下的</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration> 注意 : 需要在本地创建 需要在本地创建 /home/helloworld/hadoop/tmp目录
配置文件 配置文件 5：hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/helloworld/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> <value>file:///home/helloworld/hadoop/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration> 注意 : 需要在本地创建 需要在本地创建 /home/helloworld/hadoop/namenode 和/home/helloworld/hadoop/datanode目录
配置文件 配置文件 6：mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
配置文件 配置文件 7：yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
3、 设置环境变量 设置环境变量 设置环境变量
将以下内容加入到 将以下内容加入到 ~/.bashrc文件中 文件中
01. export HADOOP_HOME=/data/hadoop-2.6.5
02. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然后执行以下命令： 然后执行以下命令：
01. ~source ~/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.
五、在 master机器上进行如下操作： 机器上进行如下操作： 机器上进行如下操作：
1）格式化 hdfs
#hdfs namenode -format
2）启动hdfs
start-all.sh
误操作的话
stop-all.sh
mr-jobhistory-daemon.sh stop historyserver