Spark学习笔记(一) Ubuntu安装JDK和ssh

1. Hadoop的必要软件环境

• Java开发环境JDK
• ssh(安全外壳协议)

1.1 Ubuntu下安装JDK

• 系统环境:ubuntu-18.04.1
• JDK版本:1.8

1.1.1 从oracle官方下载jdk的包到本机

1.1.2 在当前目录下打开终端,输入命令解压包

#输入jdk,按Tab键自动补全文件名
$ tar -zxvf jdk-8u181-linux-x64.tar.gz 

对于tar -zxvf命令,百度了下,大致如下
z----表示调用gzip或gunzip命令压缩或解压缩文件；
x----表示解压缩包
f----表示指定文件
v----表示显示压缩或解压缩过程
xfz是几个选项一起使用，主要表示解压缩文件但不显示解压缩过程。
此命令常用用法是：
打包：tar cvf 文件名.tar 文件
解包：tar xvf 文件名.tar

1.1.2 到/usr/lib文件夹下面新建文件夹jdk,将Downloads下已经解压的jdk剪切到jdk文件夹里,并重命名为jdk1.8

#进入/usr/lib
$ cd /usr/lib

#创建文件夹jdk
$ sudo mkdir jdk

#查找jdk文件夹是否创建好了
$ find jdk

#在Downloads终端下剪切文件
winter@ubuntu:~/Downloads$ sudo mv jdk1.8.0_181/ /usr/lib/jdk

#重命名文件夹
winter@ubuntu:/usr/lib/jdk$ sudo mv jdk1.8.0_181/ jdk1.8

#如果感觉上面用命令来操作文件比较麻烦,可以使用root权限的文件管理窗口
$ sudo nautilus

1.1.3 配置java环境变量

#输入下面命令打开用户的环境变量配置文件
$ sudo gedit /etc/profile

在文件最后面添加如下配置

#set Java environment
export JAVA_HOME=/usr/lib/jdk/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

使配置立刻生效

$ source /etc/profile

判断配置是否生效
写个测试用的java类,并运行

public class Test {
    public static void main(String[] args) {
        System.out.println("hello java");
    }
}

1.2 安装ssh

#查看ssh的状态判断是否已经安装了ssh
$ sudo service ssh status

#安装ssh和rsync
$ sudo apt-get install ssh
$ sudo apt-get install rsync

#产生SSH Key
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

#将产生的SSH Key放到许可证文件中
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys