云服务器安装 R & Spark

云服务器安装 R & Spark

云服务器是滴滴云

本教程需结合下面两个链接

https://blog.csdn.net/jarth/article/details/53098844

单机安装R&Spark

https://blog.csdn.net/kahung_l/article/details/80072146

1.R：

正常安装准备操作可能出错例如下载公钥可能出错如果无法解决选择跳过

2.Spark
1.安装jdk，尽量不要用openJDK 去官网
    命令行下载：
    若文件名不对下载后重命名(后缀tgz tar.gz都正常)
    https://www.howtoing.com/rename-downloaded-file-with-wget-in-linux
    (使用 -c 而不是 -cO)
    https://yq.aliyun.com/articles/423928
    注意末尾jdk版本的替换
    解压
    问题 gzip: stdin: unexpected end of file
    压缩包名字不正确使用命令行下载需要重命名（可以查看文件大小来验证）
    注意下载保存的名字通过大小判断可能不是原始名字

3.ssh
   Enter file in which to save the key
   直接回车跳过
   控制台显示
   Enter file in which to save the key (/home/dc2-user/.ssh/id_rsa):
   Created directory '/home/dc2-user/.ssh'.
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /home/dc2-user/.ssh/id_rsa.
   Your public key has been saved in /home/dc2-user/.ssh/id_rsa.pub.
   The key fingerprint is:
   SHA256:Zz0j06u36DCN/TulNuDwTzPDtQiqjp/lFYpDRNkYg9s dc2-user@10-254-0-20
   The key's randomart image is:
    +---[RSA 2048]----+
|     .+=         |
|    ..o..        |
|     o.          |
|    ..E    o     |
|      . S B = . |
|     . ..O.* *.. |
|      o B++.Oo. |
|     . * +o=*+   |
|    .o= ..++==   |
+----[SHA256]-----+

   4.hadoop

部分不使用的功能跳过

尤其xml文件的修改可以跳过,只要解压hadoop并在profile文件中配置好路径即可

      https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.2/hadoop-3.0.2.tar.gz
   5.scala
      正常安装
      下载URL
       https://downloads.lightbend.com/scala/2.12.5/scala-2.12.5.tgz
   6.spark
      注意without hadoop 版和完整版的区别
      还是下完整版比较好!!! 否则会提示缺少相关包!!! 比如slf4j
      spark完整版
      http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

特别提醒

在复制教程中的配置语句注意版本名的问题,尤其后缀,版本号!!!

若输入某启动命令无效时,即弹出"xx不是命令",很有可能是配置语句写错

应首先使用cd 命令进入路径,查找是否有相关命令

tips

ls 列出文件
cd / 根目录
sudo 必须要带，即使不用密码（好像一般云不会给超级用户）
ctrl + c 取消命令输入错误命令（包括乱码）时特别好用
ls -lht 查看文件大小
mv 重命名 mv a b
rm 删除

注意备份还原每安装好一部分就备份（创建快照），有问题再还原

备份注意看是数据盘还是系统盘

创建系统盘快照:

在服务器列表点击选择创建快照

跟着教程安装时注意软件程序新旧版本号安装目录(直接进入目录查看)

注意两种控制台的区别 vnc和web 使用web方便使用鼠标

断开控制台连接后若无法重连就重启注意断开连接不等于关机

vim

使用vim 编辑文件时可能会出现swap文件原因是编辑是出现死机崩溃,如果不需要就删除

Ubuntu下gedit比vim好用,只要将vim命令换为gedit即可 eg: sudo gedit filename

https://www.cnblogs.com/is-Tina/p/7755928.html
有时写错不想保存直接输入命令 :q!

云服务器安装 R & Spark

猜你喜欢