Hadoop入门(二)——安装

一、安装准备

1、所需软件

hadoop 0.20.2地址:http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/

JDK版本:jdk-6u26-linux-i586.rpm.bin (必须是1.6

操作系统:CentOS

三台机器:10.2.33.151master),10.2.33.152slave),10.2.33.153slave

二、安装操作

1、软件安装

拷贝以上文件到Linux的“/opt/”目录下。

安装JDK,此步省略……。

解压hdaooptar -zxvf hadoop-0.20.2.tar.gz

配置151机器可以通过SSH直接访问152153

2、系统SSH配置

151152153三台机器上分别执行以下操作:

ssh-keygen -t dsa

直接回车,完成后会在~/.ssh/生成两个文件:id_dsa id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

注:若想多台机器登陆一台机器,则将3台机器的id_dsa.pub合并为1authorized_keys,换行分割即可。

完成后可以实现无密码登录:

$ ssh root@IP

3、系统环境变量配置

JAVA_HOME=/usr/java/jdk1.6.0_26

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

HADOOP_HOME=/opt/hadoop-0.20.2

PATH=$JAVA_HOME/bin:$HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH

export PATH HADOOP_HOME CLASSPATH JAVA_HOME

最后记得source /etc/profile生效。

4、系统HOSTS配置

修改ect/hosts配置文件,内容如下:

127.0.0.1       localhost

10.2.33.151     test-01

10.2.33.152     test-02

10.2.33.153     test-03

注:以上hosts信息很重要,每台机器都要配置,test-01为服务器名

5Hadoop配置

修改/opt/hadoop-0.20.2/conf/目录下的master文件,内容如下:

10.2.33.151

修改/opt/hadoop-0.20.2/conf/目录下的slaves文件,内容如下:

10.2.33.152

10.2.33.153

修改/opt/hadoop-0.20.2/conf/hadoop-env.sh文件的环境变量:

# The java implementation to use.  Required.

export JAVA_HOME=/usr/java/jdk1.6.0_26

拷贝/opt/hadoop-0.20.2/src/core/core-default.xml/opt/hadoop-0.20.2/conf/core-site.xml,修改部分内容如下:

<property>

  <name>hadoop.tmp.dir</name>

  <value>/hadoopdata</value>

</property>

<property>

  <name>fs.default.name</name>

  <value>hdfs://10.2.33.151:9000</value>

</property>

拷贝/opt/hadoop-0.20.2/src/hdfs/hdfs-default.xml/opt/hadoop-0.20.2/conf/hdfs-site.xml配置文件,内容不变。

拷贝/opt/hadoop-0.20.2/src/mapred/mapred-default.xml/opt/hadoop-0.20.2/conf/mapred-site.xml配置文件,修改部分内容如下:

<property>

  <name>mapred.job.tracker</name>

  <value>10.2.33.151:9001</value>

</property>

/opt/hadoop-0.20.2拷贝到10.2.33.15210.2.33.153对应的目录下。将/ect/profile/etc/hosts也拷贝到152153机器上。注意profile需要做生效操作。建议打包拷贝或者scp拷贝。

四、初始配置

1、格式化HDFS文件系统

进入/opt/hadoop-0.20.2/bin目录。执行:

hadoop namenode –format

2、启动/停止hadoop

启动hadoop。执行:

/opt/hadoop-0.20.2/bin/start-all.sh

停止hadoop。执行:

/opt/hadoop-0.20.2/bin/stop-all.sh

3、查看hadoop信息

/opt/hadoop-0.20.2/bin目录下,执行:

hadoop fs -ls /

如果控制台返回结果,表示初始化成功。可以向里面录入数据。

通过WEB查看hadoop

查看集群状态:http://10.2.33.151:50070dfshealth.jsp

查看JOB状态:http://10.2.33.151:50030/jobtracker.jsp

五、注意事项

1hadoop的安装千万计的修改/etc/hosts文件,而且要把所有masterslaves的内容都配置进去,所有机器的host配置,在hadoop方面是一样的。

2masterslaves2个配置文件可以不拷贝到152153机器上,只在master上保存即可,保险起见,还是都拷贝下吧。

3、通过web查看hadoop的时候,如果使用IE一些图形工具显示不出来,建议使用opera或是chrome

猜你喜欢

转载自osheep.iteye.com/blog/1096655