4.hadoop的安装与配置

1.下载hadoop-2.6.2.tar.gz。

2.复制hadoop-2.6.2.tar.gz到/usr/local/目录下。

3解压

#tar  -zxvf  hadoop-2.6.2.tar.gz

#mv  hadoop-2.6.2  hadoop

5.修改环境变量

export  HADOOP_HOME=/usr/local/hadoop

export  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

6.hadoop目录结构

7.配置文件修改

(1).hadoop 环境变量脚本文件hadoop-env.sh

(2).yarn 环境变量脚本文件yarn-env.sh

(3).hadoop 核心配置文件core-site.xml

(4).hdfs 配置文件hdfs-site.xml

(5).配置文件yarn-site.xml

(6).创建和配置mapred-site.xml

默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,

并命名为mapred.xml,该文件用于指定MapReduce使用的框架。

复制并重命名

 cp  mapred-site.xml.template  mapred-site.xml

8.格式化文件系统

hdfs namenode format

9.启动Hadoop

sbin/start-dfs.sh

10.如何执行这些程序呢?如下,用 wordcount 程序说明

猜你喜欢

转载自www.cnblogs.com/xigongxiaosha/p/9787733.html