大数据集群搭建(1)ubuntu、jdk、ssh搭建配置

今天一直在想这么快速搭建集群,因为之后集群会有很多slave,不可能一个个的安装吧,然后脑袋抽了,看来docker,个人感觉docker相当于是小型的虚拟机,可以提取出想要的环境,便于测试吧,但是一般是一个linux里边几个docker,应该和集群还不一样,如果用docker的话相当于linux的虚拟机吧。然后突然又想起来可以从master直接传过去到slave啊。。。。。。

算是搭了两次集群吧,第一次对于大数据平台还是很模糊,感觉工具好多,要学的好多,但是我并没有搞清需求,一直在看各种软件,以至于还得重新弄,第二次卡在centosSSH配置了,真的是没办法啊。。。现在又开始了搭建集群,一定要把所有的步骤都记下来~

推荐厦大林子雨实验室网站进行安装参考,林子雨老师关于大数据的慕课也很好,特别适合入门!

1.VM安装Ubuntu14.04,第一个安装为maste,第二个用克隆作为slave1(之后的slave可以克隆这个,改一些配置即可)

2.用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令

sudo apt-get update

3.安装vim,编辑方便,gedit也可以

sudo apt-get install vim

4.安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:(我的centos不能配置成功ssh应该就是忘记了server)

sudo apt-get install openssh-server
ssh localhost

首先退出exit刚才的  ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

扫描二维码关注公众号,回复: 5784659 查看本文章
exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 

ssh localhost

 命令,无需输入密码就可以直接登陆了

5.安装jdk

下载jdk-8u131-linux-x64.tar.gz安装包,然后检测自己的系统中有没有java环境

rpm -qa | grep java
yum remove java-1.*    #移除java版本
sudo mkdir /usr/BigData     #建立文件夹,之后所有关于大数据平台都放在这里
sudo mkdir /usr/BigData/jdk
#将下载好的jdk放在桌面

cd ~/Desktop
sudo tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/BigData/jdk  #安装jdk

安装时一定要sudo
修改环境变量,关于环境变量

我们修改.bashrc,因为每次登陆shell它都会更新

sudo gedit ~/.bashrc
#将以下部分加入到首行
JAVA_HOME=/usr/BigData/jdk/jdk1.8.0_131
CLASSPATH=.:./bin
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
#保存并关闭文件后
source ~/.bashrc#使生效
echo $JAVA_HOME     # 检验变量值
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

当出现以下即为成功!

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

参考网站http://dblab.xmu.edu.cn/blog/install-hadoop/

猜你喜欢

转载自blog.csdn.net/weixin_40532625/article/details/88727004