单机部署hadoop

单机部署Hadoop

 

一、系统及版本:CentOS release 6.8 (Final)

                            hadoop-2.8.1

                            JDK1.7(安装并配置环境变量)

        安装前提:ssh安装

单机模式:运行在一个单独机器上的独立Java进程,适用于开发或调试环境

二、添加用户以及用户组(尽量不适用root用户)

$ sudo adduser hadoop                           ##创建用户hadoop

$ sudo usermod -G sudo hadoop                   ##hadoop用户添加进sudo用户组

 

三、配置SSH免密登录

 

$ su -l hadoop                                      ##切换至hadoop用户

$ ssh-keygen -t rsa -P ""                           ##配置SSH免密登录

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   ##将公钥追加到authorized_keys

$ ssh localhost                                     ##验证

 

 四、Hadoop安装部署

 

1、下载Hadoop:http://hadoop.apache.org/releases.html

将hadoop复制准备安装的目录进行解压

    

$ tar -zxvf hadoop-2.7.1.tar.gz



 

 2、配置

 

配置环境变量



 

 
 重载生效

source  /etc/profile

 

修改配置文件(单机最简配置)

/hadoop-2.8.1etc/hadoop/hadoop-env.sh

 

/hadoop-2.8.1etc/hadoop/core-site.xml

 

/hadoop-2.8.1etc/hadoop/mapred-site.xml

 

 /hadoop-2.8.1etc/hadoop/hdfs-site.xml

 

配置完毕启动Hadoop

首先格式化NameNode,进入bin目录执行

./hdfs namenode -format

格式化成功后,进入sbin目录执行

 ./start-all.sh

 

启动成功后,浏览器访问

 

 

 

  3、测试(运行hadoop自带例子)

(1)创建数据

查看hdfs目录

  创建存放被计算文件的目录 /user/root/input,不要创建输入目录

 

 把需要计算的词汇文件拷贝到hadoop input目录



 

 

(2)执行Hadoop WordCount (词频统计)

 

$ ./bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.1-sources.jar org.apache.hadoop.examples.WordCount input output

 

 

 (3)查看生产的单词统计数据

 

(4) 获取结算结果到本地


五、问题

1、可能发生异常(不能加载本地库)

util.NativeCodeLoader: Unable to load native-hadoop library for your platform

解决:在/etc/profile与hadoop-env.sh文件加入

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=安装目录
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
 

猜你喜欢

转载自lsw-1012.iteye.com/blog/2388172