第一部分：环境规划
•用户 test 密码 test
•机器
|
主机名
|
IP
|
角色
|
|
bigdata-1
|
172.16.206.205
|
NameNode JobTraker
Sencondary NameNode
|
|
bigdata-2
|
172.16.206.231
|
DataNode TaskTracker
|
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
第二部分：安装JDK并配置环境变量
安装
JDK
并配置环境变量
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下，打开.bashrc文件，命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
第三部分：建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata
-1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-2
第四部分：安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop，到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s hadoop-1.0.0 hadoop
•配置环境变量
•vi .bashrc
•添加如下内容
export HADOOP_CORE_HOME=/home/test/ hadoop
export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
第五部分：配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/test/dfs/namenode </value>
</property>
<property>
<name>dfs.data.dir</name>
<value> >/home/test/dfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
文件添加内容如下
bigdata-1
• Slaves
文件添加内容如下
bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
第六部分：启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start namenode
datanode
jobtracker
tasktracker
sencondnamenode
第七部分：测试WordCount 程序
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar hadoop-examples-*.jar wordcount input output