Hadoop 2.x 环境搭建
个人笔记
Linux 01
中分配
opt
文件权限给普通用户
$ sudo chown ijeffrey:ijeffrey -R /opt/
在
opt
中创建两个文件夹，并将两个tar上传到software里
software(
存放
tar)
和
modules(
解压
tar
后的文件
)
$ mkdir modules software
首先上传两个
tar
包（
点击下载）：
在
modules
里创建两个文件夹
cdh
和
apache
分别放两个版本的软件包
$ mkdir cdh apache
解压：
$ tar -zxvf hadoop-2.7.3.tar.gz -C /opt/modules/apache/ $ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules
卸载自带的
JDK
：
搜索
jdk：rpm -qa | grep ‘jdk
卸载：
$ sudo rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 $ sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
配置环境变量
：
配置全局环境变量：
$ sudo vim /etc/profile
增加完后source一下，输入java javac验证
进入目录：
$ cd /opt/modules/apache/hadoop2.7.3
因为doc占的目录比较大 所以删除。
$ rm -rf doc
进入到/opt/modules/apache/hadoop2.7.3/etc/hadoop里面配置三个env文件：
hadoop.env.sh
mapred.env.sh
yarn.env
三个文件配置JDK的路径
下面两个注释放开并编辑：
===================================================
===================================================
hdfs相关的配置 ${HADOOP_HOME}/etc/hadoop
1）core-site.xml
=============core-site.xml===================
<!--NameNode地址，8020是指定进程8020，访问入口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<!--hadoop在运行时产生的文件，元数据在本地的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
============================================
2)hdfs-site.xml
=============hdfs-site.xml============
<!--存放到hdfs上的文件的副本数，伪分布式配置为1 --> <property> <name>dfs.replication</name> <value>1</value> </property>
======================================
配置参考地址地址：
http://hadoop.apache.org/docs/r2.7.3/
--->
Configuration
指定你的主机名
slaves文件中localhost更改为自己的主机名
3）格式化namenode
只格式化一遍，不要重复格式化
${HADOOP_HOME}目录下
$ bin/hdfs namenode -format
看到如下命令行代表成功格式化
3）启动hdfs守护进程
$ sbin/hadoop-daemon.sh start namenode $ sbin/hadoop-daemon.sh start datanode
主节点是namenode
从节点是datanode
$ jps 多次查看是否宕机（
如果失败了一般是网络映射或防火墙未关闭的原因）
成功后访问自己的web界面
未完……待续……
hadoop tar包和jdk tar 包下载地址：
https://download.csdn.net/download/u014414323/10420850
https://download.csdn.net/download/u014414323/10420846