三、阿里云CentOS7下部署Hadoop伪分布式平台

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/QQB67G8COM/article/details/82957833

一、授权普通用户管理hadoop的文件
在这里插入图片描述
将hadoopDir文件夹递归的授权给ljj用户。

二、通过wget下载好tar包(hadoop、pig、hive、hbase)(看不清楚放大看)
在这里插入图片描述
在这里插入图片描述

三、安装集群所需的软件
注:ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。

$ sudo yum -y install ssh 
$ sudo yum -y install rsync

四、安装ssh,配置免密码登录(用来和其他节点之间进行无密通讯)
在这里插入图片描述
步骤:
sudo yum -y install openssh-server
ssh localhost //初始化ssh以生成~/.ssh目录
cd ~/.ssh //进入目录
ssh-keygen -t rsa //一直回车
cat id_rsa.pub >> authorized_keys //生成authorized_keys


同样的操作在slave节点上安装、配置ssh服务(完全分布式才需要)
[ljj@hadoopMaster .ssh]$ scp authorized_keys ljj@slave ~ //在master节点上将authorized_keys复制到slave节点上
[ljj@slave .ssh]$ cat …/authorized_keys >> authorized_keys //在slave节点上将复制后的文件添加到本机的authorized_keys中


五、安装Hadoop
在这里插入图片描述
配置etc/hadoop/hadoop-env.sh

 # set to the root of your Java installation
export JAVA_HOME={$JAVA_HOME}       #设置JAVA_HOME,JAVA_HOME的位置详情参考上一章

文章位置:阿里云CentOS7的Java环境配置
配置etc/hadoop/core-site.xml

其它详情请参考官方文档:
单节点安装
集群安装

猜你喜欢

转载自blog.csdn.net/QQB67G8COM/article/details/82957833