Hadoop快速安装教程

ubuntu16.04+hadoop2.7.5+java1.8.0_161

看了网上的安装教程，遇到了一些问题并解决，就重新整体了下安装过程，亲测成功。

各软件下载地址：

ubuntu： http://www.ubuntu.org.cn/download

java： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop： http://hadoop.apache.org/releases.html 下载binary

接下来开始安装：

1.安装JAVA环境。

安装前用java -version查看是否有java1.8，如果是java其他版本就卸载重装。

将下载的java1.8在ubuntu中解压到usr/java目录下（首先要创建这个目录）

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java/

解压缩之后来配置环境变量

vim ~/.bashrc

#写入环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_161

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

之后运行下面指令让环境生效

source ~/.bashrc

然后就可以再运行 java -version查看java是不是安装成功。

2.安装ssh

#查看ssh安装包情况

dpkg -l | grep ssh

#查看是否启动ssh服务

ps -e | grep ssh

没有的话就使用下面指令安装ssh

sudo apt-get install openssh-server

然后运行ssh

sudo apt-get install openssh-server

再查看ssh是否已经启动

ps -e | grep ssh

现在应该能看到ssh服务运行了。之后要设置免密登陆，省的每次都要输入密码

#生成秘钥，输入下面指令后疯狂回车就行了

ssh-keygen -t dsa

#导入authorized_keys

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

#测试是否免密码登录localhost

ssh localhost

3.安装hadoop

创建/usr/local/hadoop目录,解压缩下载的hadoop压缩包

tar -zxvf hadoop-2.7.5 -C /usr/local/hadoop

然后修改下文件权限，不然后续的格式化namenode中会发生很多问题。

sudo chmod 777 -R /usr/local/hadoop

接下来需要配置文件core-site.xml、hdfs-site.xml、hadoop-env.sh这三个文件。

进入 /usr/local/hadoop/hadoop-2.7.5/etc/hadoop/

3.1 修改core-site.xml文件

 
    core-site.xml 
   

 
    <!-- 指定namenode的通信地址 --> 
   

 
    <property> 
   

 
    <name>fs.default.name</name> 
   

 
    <value>hdfs://localhost:9000</value> 
   

 
    </property> 
   

 
    <property> 
   

 
    <name>hadoop.tmp.dir</name> 
   

 
    <value> 
    /home/yourname/tmp 
    </value> 
   

 
    </property> 
   

红色部分替换为你自己的用户目录，没有tmp目录的话就创建一个。

3.2 修改hdfs-site.xml

 
    hdfs-site.xml 
   
    <!-- 设置hdfs副本数量 --> 
   
    <property> 
   
    <name>dfs.replication</name> 
   
    <value>1</value> 
   
    </property>

3.3 修改hadoop-env.sh，找到#The java implementation to use 这一行，在下面添加如下代码

 
   export JAVA_HOME=/usr/java/jdk1.8.0_161 
  

 
   export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.5 
  

 
   export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.5/bin 
  

3.4 在系统环境变量中写入hadoop的环境变量，这样就可以在命令行运行hadoop了

sudo /etc/environmnet

 
   在文件的结尾""之内加上 
  

 
   :/usr/local/hadoop/hadoop-2.7.5/bin 
  

 
   :/usr/local/hadoop/hadoop-2.7.5/sbin 
  

4.重启系统 --验证Hadoop安装情况

hadoop version

看到版本号就说明安装ok了。接下来启动hdfs，使用伪分布模式。

4.1 格式化

 
   hadoop namenode -format 
  

显示下面的信息时说明格式化成功

 
   /************************************************************ 
  

 
   SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1 
  

 
   ************************************************************/ 
  

4.2启动hdfs

首先进入 cd /usr/local/hadoop/hadoop-2.7.5/sbin，之后运行

start-all.sh

然后使用jps指令查看进程

jps

然后出现下面内容hdfs就配置成功了！

停止hdfs指令

stop-all.stop

Hadoop快速安装教程

猜你喜欢