Ubuntu 64位安装Hadoop

如果安装Hadoop选择单机模式，则可跳过步骤2更改配置文件，Hadoop默认情况下是单机模式；若在单一机器上安装Hadoop分布式模式，可使用步骤2配置成伪分布式模式。
1. 从官网下载hadoop-3.1.0.tar，并解压到/usr/hadoop目录中；
2. 更改Hadoop文件的相关配置：

core-site.xml 配置如下：　　　　
　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　</property>
　　　　</configuration>

　　其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

　　mapred-site.xml.template配置如下：　　　　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapred.job.tracker</name>
　　　　　　　　<value>localhost:9001</value>
　　　　　　</property>
　　　　</configuration>

　　hdfs-site.xml配置如下：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

　　其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

　　补充，如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop.env.sh里面，具体如下：

　　　　export JAVA_HOME=/home/lib/jvm/program/java/jdk1.8.0_60

1. 安装SSH服务,设置免密码登陆：
   由于Hadoop启动/停止脚本时需要通过SSH发送命令启动相关守护进程，为了避免每次启动/停止Hadoop都输入密码进行验证，需设置免密码登陆。步骤如下：
   3.1进入shell命令，输入：

sudo apt-get install ssh openssh-server

3.2设置免密码登陆：
    1）、创建SSH-KEY，使用RSA方式：

ssh-keygen -t rsa -P ""

执行上述命令后会在~/.ssh目录下生成公钥文件id_rsa.pub和私钥文件id_rsa
2）、将公钥文件id_rsa.pub中的内容复制到相同目录下的authorized_keys文件中：

cat ~/.ssh/id_rsa.pub >> authorized_keys

3）、验证无密码登陆是否设置成功：

ssh localhost

出现如下图片即为成功

4.格式化HDFS：

bin/hadoop namenode -format

5.启动Hadoop
在Hadoop目录下运行命令

 sbin/start-all.sh 

可使用jps命令列出所有守护进程来验证安装成功

jps

如下即启动成功

启动成功后，在浏览器端通过localhost:8088即可访问