大数据平台搭建(2)

注意:因为博客中美元符号有特殊含义,所以将美元符号替换为&
10.安装hadoop
a.上传:将hadoop-2.7.3.tar.gz压缩包上传到/user/local路径下
b.解压:将上传的hadoop包解压缩到当前的目录下(tar -zxvf hadoop-2.7.3.tar.gz)
c.配置环境变量:在profile文件末尾添加配置(vim /etc/profile)
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=&HADOOP_HOME/bin:&HADOOP_HOME/sbin:&PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=&HADOOP_HOME/lib/native
export HADOOP_OPTS=”-Djava.library.path=&HADOOP_HOME/lib”
d.生效:是配置的profile文件立刻生效(source /etc/profile)
e.配置hadoop-env.sh
打开文件(vim etc/hadoop/hadoop-env.sh)
注释掉原来的export JAVA_HOME=&{JAVA_HOME}并增加(export JAVA_HOME=/usr/java/jdk1.8)
f.配置yarn-env.sh
打开文件(vim etc/hadoop/yarn-env.sh)
注释掉原来的export JAVA_HOME=&{JAVA_HOME}并增加(export JAVA_HOME=/usr/java/jdk1.8)
g.配置slaves,写入一下内容
打开文件(vim etc/hadoop/slaves)
增加:
datanode01
datanode02
datanode03
h.配置core-site.xml

<configuration>
 <property>
     <name>fs.defaultFS</name> 
     //fs.defaultFS 客户端连接HDFS时，默认的路径前缀。跟配置hdfs-site.xml中nameservice ID的值是一致的
     <value>hdfs://mycluster</value>
  </property>
  <property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/usr/local/hadoop-2.7.3/tmp</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
  </property>
  <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
     <value>*</value>
  </property>
   <property>
     <name>ha.zookeeper.quorum</name>
     <value>namenode01:2181,namenode02:2181,datanode01:2181,datanode02:2181,datanode03:2181</value>
  </property>
  <property>
     <name>ha.zookeeper.session-timeout.ms</name>
     <value>1000</value>
  </property>
</configuration>