hadoop在linux上单机安装过程

1、安装JDK

jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：

export JAVA_HOME=/usr/java/jdk1.7.0_25
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

2、下载hadoop并解压、移动

hadoop.tar.gz安装

上http://www.apache.org/dyn/closer.cgi/hadoop/common/可以选择自己想要的版本，我是用wget命令直接将hadoop下载下来：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

--解压文件，并将解压的文件夹重命名为/opt/hadoop，执行以下命令：

tar -xvf hadoop-1.1.2.tar.gz

mv hadoop-1.1.2 /opt/hadoop

hadoop1.2.1_1.rpm安装

3、修改/opt/hadoop/conf文件夹下的4个配置文件

a) hadoop-env.sh ，在该文件的末尾根据JDK安装目录增加以下几行：

export JAVA_HOME=/usr/java/jdk1.7.0_25
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin

b）core-site.xml ，用以下配置替换文件内容

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>

c) hdfs-site.xml，用以下配置替换文件内容，因为单机，所以设置文件只要保存1份，系统默认是3份：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

d) mapred-site.xml，用以下配置替换文件内容

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

4、执行hadoop环境设置，并格式化hadoop文件系统，执行以下命令

cd /opt/hadoop

source conf/hadoop-env.sh

hadoop namenode -format

5、最后一步：设置ssh免密登陆本机，执行以下命令：

ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

安全起见，你可以退出linux再以root登陆进来一下，我是没做这个步骤

6、启动hadoop，执行以下命令：

cd /opt/hadoop

./bin/start-all.sh

7、测试hadoop文件系统

在hadoop上创建文件夹，并上传一个文件，执行以下测试命令：

hadoop fs -mkdir testfolder 创建文件夹

hadoop fs -ls 列出hadoop文件列表

hadoop fs -put /opt/hadoop/*.txt /user/root/testfolder 我把hadoop目录下的所有txt文件上传到hadoop的文件系统里头去

hadoop fs -ls /user/root/testfolder 查看上传的文件列表

8、hadoop还有一个web管理控制台，可以通过http://liunxip地址:50030/来访问

hadoop在linux上单机安装过程

猜你喜欢