安装ssh
1 |
apt-get install ssh |
安装rsync
1 |
apt-get install rsync |
配置ssh免密码登录
1 |
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa |
2 |
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys |
验证是否成功
1 |
ssh localhost |
新建 linux 终端，建立app目录，Java和Hadoop都将安装在此目录中。
1 |
mkdir /home/app |
接下来，安装Java和Hadoop，Hadoop解压即可。
1 |
cd /home/app |
2 |
chmod +x jdk-6u30-linux-i586.bin |
3 |
./jdk-6u30-linux-i586.bin |
4 |
5 |
tar zxf hadoop-1.0.0-bin.tar.gz |
配置JDK环境变量
1 |
vi /etc/profile |
增加下面语句到最后
1 |
export JAVA_HOME=/home/app/jdk1.6.0_30 |
2 |
export PATH=$JAVA_HOME/bin:$PATH |
3 |
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar |
接下来开始配置Hadoop
进入Hadoop目录
1 |
cd /home/app/hadoop-1.0.0 |
修改配置文件，指定JDk安装路径
1 |
vi conf/hadoop-env.sh |
1 |
export JAVA_HOME=/home/app/jdk1.6.0_30 |
修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号
1 |
vi conf/core-site.xml |
1 |
<configuration> |
2 |
<property> |
3 |
<name>fs.default.name</name> |
4 |
<value>hdfs://localhost:9000</value> |
5 |
</property> |
6 |
</configuration> |
修改Hadoop中HDFS的配置，配置的备份方式默认为3，因为安装的是单机版，所以需要改为1
1 |
vi conf/hdfs-site.xml |
1 |
<configuration> |
2 |
<property> |
3 |
<name>dfs.replication</name> |
4 |
<value>1</value> |
5 |
</property> |
6 |
</configuration> |
修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口
1 |
vi conf/mapred-site.xml |
1 |
<configuration> |
2 |
<property> |
3 |
<name>mapred.job.tracker</name> |
4 |
<value>localhost:9001</value> |
5 |
</property> |
6 |
</configuration> |
接下来，启动Hadoop，在启动之前，需要格式化Hadoop的文件系统HDFS，进入Hadoop文件夹，输入下面命令
1 |
bin/hadoop namenode -format |
然后启动Hadoop，输入命令
1 |
bin/start-all.sh |
这个命令为所有服务全部启动。
最后，验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
如果都能查看，说明安装成功。